[论文解读] A general multi-modal data learning method for Person Re-identification

Yunpeng Gong|arXiv (Cornell University)|Jan 21, 2021

Video Surveillance and Tracking Methods参考文献 21被引用 10

一句话总结

本文提出了一种用于行人重识别（Re-ID）的通用多模态数据学习方法，通过结合全局和局部同质变换来增强跨模态特征学习。通过将对应同质图像中的区域添加到RGB图像，并将图像转换为同质形式，该方法在单模态Re-ID中性能提升最高达3.3%，在草图Re-ID中提升超过8%，同时加速并改善了对抗性防御训练。

ABSTRACT

This paper proposes a general multi-modal data learning method, which includes Global Homogeneous Transformation, Local Homogeneous Transformation and their combination. During ReID model training, on the one hand, it randomly selected a rectangular area in the RGB image and replace its color with the same rectangular area in corresponding homogeneous image, thus it generate a training image with different homogeneous areas; On the other hand, it convert an image into a homogeneous image. These two methods help the model to directly learn the relationship between different modalities in the Special ReID task. In single-modal ReID tasks, it can be used as an effective data augmentation. The experimental results show that our method achieves a performance improvement of up to 3.3% in single modal ReID task, and performance improvement in the Sketch Re-identification more than 8%. In addition, our experiments also show that this method is also very useful in adversarial training for adversarial defense. It can help the model learn faster and better from adversarial examples.

研究动机与目标

• 为解决行人重识别中学习鲁棒跨模态表征的挑战，特别是RGB与同质图像模态之间的挑战。
• 提升基于草图的行人重识别性能，其中领域差距和模态偏移是显著挑战。
• 通过使模型能够更快、更有效地从对抗性样本中学习，增强对抗性鲁棒性。
• 开发一种通用的数据增强技术，适用于单模态和多模态Re-ID设置。

提出的方法

• 该方法通过将整个RGB图像转换为同质图像，应用全局同质变换以模拟模态偏移。
• 通过在RGB图像中随机替换一个矩形区域为对应同质图像中的区域，执行局部同质变换。
• 这些变换生成具有混合模态的训练样本，使模型能够学习RGB与同质域之间的联合表征。
• 该方法可无缝集成到标准Re-ID训练流程中，无需架构修改，具有广泛适用性。
• 该方法支持监督训练与对抗性训练，可在存在对抗性样本时提升收敛速度与鲁棒性。
• 该技术作为单模态Re-ID中的数据增强策略有效，可提升泛化能力，且无需模态特定设计。

实验结果

研究问题

• RQ1 结合全局与局部同质变换是否能提升行人重识别中的跨模态特征学习？
• RQ2 与标准数据增强方法相比，该方法在草图Re-ID中的性能提升程度如何？
• RQ3 该方法在提升对抗性鲁棒性及加速对抗性训练收敛方面效果如何？
• RQ4 该多模态数据学习方法是否可在无需架构修改的情况下推广至不同Re-ID设置？

主要发现

• 所提方法在单模态行人重识别任务中实现了最高达3.3%的性能提升。
• 在基于草图的行人重识别中，性能提升超过8%，展现出强大的跨模态泛化能力。
• 该方法通过实现更快收敛和对对抗性样本更强的鲁棒性，显著增强了对抗性训练效果。
• 该技术作为单模态Re-ID中的数据增强策略有效，可提升模型泛化能力，且无需引入模态特定组件。