[论文解读] Learning Robust Visual-Semantic Embedding for Generalizable Person Re-identification

Suncheng Xiang, Jingsheng Gao+6 more|arXiv (Cornell University)|Apr 19, 2023

Video Surveillance and Tracking Methods被引用 5

一句话总结

本文提出MMET，一种多模态等价Transformer，通过联合建模图像与文本模态，学习鲁棒的视觉-语义嵌入，实现可泛化的行人重识别。它引入一种动态掩码机制（MMM），在训练过程中同时掩码图像块与文本标记，从而在单模态和多模态数据上实现有效的表征学习，并在无需领域特定微调的情况下，在多个Re-ID基准上达到最先进性能。

ABSTRACT

Generalizable person re-identification (Re-ID) is a very hot research topic in machine learning and computer vision, which plays a significant role in realistic scenarios due to its various applications in public security and video surveillance. However, previous methods mainly focus on the visual representation learning, while neglect to explore the potential of semantic features during training, which easily leads to poor generalization capability when adapted to the new domain. In this paper, we propose a Multi-Modal Equivalent Transformer called MMET for more robust visual-semantic embedding learning on visual, textual and visual-textual tasks respectively. To further enhance the robust feature learning in the context of transformer, a dynamic masking mechanism called Masked Multimodal Modeling strategy (MMM) is introduced to mask both the image patches and the text tokens, which can jointly works on multimodal or unimodal data and significantly boost the performance of generalizable person Re-ID. Extensive experiments on benchmark datasets demonstrate the competitive performance of our method over previous approaches. We hope this method could advance the research towards visual-semantic representation learning. Our source code is also publicly available at https://github.com/JeremyXSC/MMET.

研究动机与目标

• 为解决由于数据集间域偏移导致的行人重识别中域泛化能力差的挑战。
• 探索语义特征在提升模型在多样化视觉与文本域间鲁棒性方面的潜力。
• 开发一种统一的基于Transformer的架构，有效处理成对与非成对的图像-文本数据。
• 实现在无需微调或重新训练的情况下，对新数据集进行零样本适应。
• 克服现有方法在域泛化中依赖标注目标数据或固定类别集的局限性。

提出的方法

• 提出一种多模态等价Transformer（MMET），其单一Transformer架构同时用于视觉、语言及视觉-语言任务。
• 引入一种名为掩码多模态建模（MMM）的动态掩码机制，可在预训练过程中同时掩码图像块与文本标记。
• MMM支持在单模态（仅图像或仅文本）与多模态（图像-文本对）输入上进行联合学习，提升模型鲁棒性与泛化能力。
• 采用对比学习目标，将视觉与文本特征对齐至共享嵌入空间。
• 采用双分支编码器结构并共享注意力机制，以解耦单模态与多模态处理流程。
• 在非成对图像、非成对文本及成对图像-文本数据的组合上进行训练，以增强在模态不完整条件下的表征学习能力。

实验结果

研究问题

• RQ1 统一的Transformer架构能否有效学习跨单模态与多模态输入的视觉-语义表征，以支持行人重识别？
• RQ2 对图像块与文本标记实施动态掩码，如何提升在域偏移条件下Re-ID任务的鲁棒性与泛化能力？
• RQ3 在预训练阶段引入语义特征，是否能提升模型对未见数据集的零样本迁移性能？
• RQ4 在无需微调的情况下，所提出的MMET框架与现有方法相比，在跨数据集泛化方面表现如何？
• RQ5 预训练数据的规模与多样性在多大程度上影响多模态Re-ID模型的性能？

主要发现

• 在零样本跨数据集泛化设置下，MMET在Market-1501、DukeMTMC-reID与CUHK03数据集上均达到最先进性能。
• 在DukeMTMC-reID数据集上，MMET结合FineGPR预训练可达到43.6%的Rank-1准确率，优于使用相同主干网络的RandPerson基线模型（47.6% Rank-1）。
• 所提出的MMM机制通过支持在单模态与多模态数据上的有效联合学习，显著提升了所有基准上的性能。
• Grad-CAM可视化结果表明，MMET学习到了有意义的注意力图，表明其能更好地定位判别性特征。
• 该模型无需任何微调或适应即可有效泛化至未见数据集，展现出强大的域泛化能力。
• 在较小或多样性较低的数据集（如FineGPR）上性能下降，表明数据规模与多样性对视觉Transformer性能至关重要。