[论文解读] Beyond Intra-modality Discrepancy: A Comprehensive Survey of Heterogeneous Person Re-identification.

Zheng Wang, Zhixiang Wang+3 more|arXiv (Cornell University)|May 24, 2019

Video Surveillance and Tracking Methods被引用 9

一句话总结

本文全面综述了异构行人重识别（He-ReID）技术，涵盖低分辨率、红外、草图和基于文本的ReID场景。文章对比了He-ReID与同构ReID，回顾了现有数据集、模型和代表性方法，并概述了跨模态行人检索中的关键挑战与未来研究方向。

ABSTRACT

An effective and efficient person re-identification (ReID) algorithm alleviates painful video watching and accelerates the investigation progress. Recently, with the explosive requirements of practical applications, a lot of research efforts have been dedicated to heterogeneous person re-identification (He-ReID). In this paper, we review the state-of-the-art methods comprehensively with respect to four main application scenarios -- low-resolution, infrared, sketch and text. We begin with a comparison between He-ReID and the general Homogeneous ReID (Ho-ReID) task. Available existing datasets for performing evaluation are briefly described. We then survey the models that have been widely employed in He-ReID. We also summarize and compare the representative approaches. Finally, we discuss some future research directions.

研究动机与目标

• 系统性回顾异构行人重识别（He-ReID）在多样化应用场景下的最先进方法。
• 从挑战和方法论差异的角度，对比He-ReID与同构行人重识别（Ho-ReID）。
• 总结并评估用于He-ReID基准测试和模型训练的现有数据集。
• 分析并对比不同模态下He-ReID中采用的代表性模型与技术。
• 识别开放性挑战，并提出跨模态行人重识别的未来研究方向。

提出的方法

• 开展结构化文献综述，聚焦于四种主要He-ReID场景：低分辨率、红外、草图和基于文本的ReID。
• 对比He-ReID与同构ReID（Ho-ReID）的特性与挑战，重点强调模态差异与特征分布偏移问题。
• 调查并分类He-ReID中广泛使用的深度学习模型与架构，如孪生网络、注意力机制和跨模态对齐模块。
• 使用mAP和rank-1准确率等指标，总结并比较不同数据集和模态组合下的代表性方法。
• 分析特征提取、模态特定表示学习以及跨模态对齐技术的设计选择。
• 综合现有研究的见解，识别研究空白，并提出He-ReID的未来研究方向。

实验结果

研究问题

• RQ1 在模态差异与特征分布方面，异构与同构行人重识别的关键区别是什么？
• RQ2 目前可用于评估低分辨率、红外、草图和文本模态下He-ReID模型的可用且广泛使用的数据集有哪些？
• RQ3 在处理跨模态行人重识别时，哪些深度学习架构和组件（例如注意力机制、对比学习）最为有效？
• RQ4 代表性He-ReID方法在不同模态组合下的表现如何？其局限性是什么？
• RQ5 异构行人重识别中的主要开放性挑战与有前景的未来研究方向是什么？

主要发现

• 由于不同数据类型之间存在显著的模态内与模态间差异，He-ReID面临的挑战远大于Ho-ReID。
• 现有的He-ReID数据集（如Market-1501、CUHK03和MS-COCO）在跨模态评估方面仍显不足，尤其在草图和文本模态方面。
• 注意力机制与对比学习已成为提升异构模态间特征对齐的关键组件。
• 当前最先进的He-ReID模型在部分基准上实现了具有竞争力的性能，mAP值超过60%，但在极端情况（如草图到图像ReID）下性能显著下降。
• 跨模态特征对齐与领域自适应技术对于减少模态特异性偏差、提升泛化能力至关重要。
• 未来研究应聚焦于构建统一的多模态ReID框架，提升零样本泛化能力，并为草图和基于文本的ReID开发标准化基准。