[论文解读] Beyond Intra-modality: A Survey of Heterogeneous Person Re-identification

Zheng Wang, Zhixiang Wang+4 more|arXiv (Cornell University)|May 24, 2019

Video Surveillance and Tracking Methods参考文献 71被引用 9

一句话总结

本综述全面回顾了异质行人重识别（Hetero-ReID）研究，解决了可见光、低分辨率、红外、草图及基于文本的ReID中跨模态的挑战，而不仅限于同模态差异。该综述按应用场景对方法进行分类，评估数据集与模型，并识别出在模态统一、数据集构建及隐私保护技术方面的主要研究空白与未来方向。

ABSTRACT

An efficient and effective person re-identification (ReID) system relieves the users from painful and boring video watching and accelerates the process of video analysis. Recently, with the explosive demands of practical applications, a lot of research efforts have been dedicated to heterogeneous person re-identification (Hetero-ReID). In this paper, we provide a comprehensive review of state-of-the-art Hetero-ReID methods that address the challenge of inter-modality discrepancies. According to the application scenario, we classify the methods into four categories -- low-resolution, infrared, sketch, and text. We begin with an introduction of ReID, and make a comparison between Homogeneous ReID (Homo-ReID) and Hetero-ReID tasks. Then, we describe and compare existing datasets for performing evaluations, and survey the models that have been widely employed in Hetero-ReID. We also summarize and compare the representative approaches from two perspectives, i.e., the application scenario and the learning pipeline. We conclude by a discussion of some future research directions. Follow-up updates are avaible at: https://github.com/lightChaserX/Awesome-Hetero-reID

研究动机与目标

• 解决在现实场景中，当数据来自低分辨率、红外、草图和文本等多种模态时，同质行人重识别（Homo-ReID）所面临的实际局限性。
• 系统性地回顾异质ReID方法，包括其按应用场景的分类、学习流程与模型架构。
• 识别并分析异质模态间在模态差异、数据集稀缺性及特征表示方面的关键挑战。
• 突出尚未充分探索的研究方向，如模态统一、多种异质输入的融合以及隐私保护技术。
• 通过整理一份全面的综述并维护一个基于GitHub仓库的持续更新资源，为未来研究提供支持。

提出的方法

• 将Hetero-ReID方法划分为四大主要应用场景：低分辨率（LR）、红外（IR）、草图和基于文本的ReID。
• 回顾并比较现有基准数据集，如MLR-VIPeR（LR）、SYSU-MM01（IR）、PKU-Sketch（草图）和CUHK-PEDES（文本），用于评估。
• 分析广泛使用的深度学习模型与架构，包括孪生网络、三元组损失和注意力机制，并针对跨模态学习进行适配。
• 研究模态迁移技术，如用于低分辨率的超分辨率、用于红外到可见光转换的CycleGAN，以及探索潜在空间统一以实现多模态对齐。
• 提出一个三方向的模态转换框架：异质模态到目标模态、目标模态到异质模态，以及双向到潜在模态。
• 在草图和基于文本的ReID中整合人机协同策略，考虑众包、主观性及冲突的目击者描述。

实验结果

研究问题

• RQ1 Hetero-ReID中的挑战与Homo-ReID相比有何不同，特别是在模态间差异方面？
• RQ2 用于跨不同模态基准测试Hetero-ReID方法的关键数据集和评估协议是什么？
• RQ3 Hetero-ReID中主导的深度学习架构与损失函数是什么？它们如何适应跨模态特征学习？
• RQ4 超分辨率和CycleGAN等模态迁移技术在弥合异质模态与目标模态之间的域差距方面能发挥多大作用？
• RQ5 在整合多种异质输入（如草图、文本、红外）并确保行人重识别系统中的隐私方面，存在哪些开放性挑战？

主要发现

• 与Homo-ReID相比，Hetero-ReID仍研究不足，尤其在低分辨率、红外、草图和基于文本的ReID等跨模态场景中存在显著性能差距。
• 现有数据集如MLR-VIPeR、SYSU-MM01、PKU-Sketch和CUHK-PEDES在规模和多样性方面存在局限，亟需构建更大、更真实的基准数据集。
• 模态迁移技术如超分辨率和CycleGAN在对齐异质输入（如红外转RGB）方面展现出潜力，但在草图和基于文本的ReID中仍利用不足。
• 目前尚无研究将文本或草图模态统一到共享潜在空间，这构成一个重大开放性挑战。
• 整合多种异质输入（如结合草图、文本和红外数据）可通过利用互补视图显著提升检索性能。
• 隐私问题日益突出，尤其在多模态行人模板方面；未来工作必须探索视觉密码学、信号混合与图像扰动等技术以保护个人数据。