[论文解读] Cross-Modality Paired-Images Generation for RGB-Infrared Person Re-Identification

Guan-An Wang, Tianzhu Zhang. Yang Yang+4 more|arXiv (Cornell University)|Feb 10, 2020

Video Surveillance and Tracking Methods参考文献 24被引用 37

一句话总结

本论文提出 JSIA-ReID，通过通过特征分离和特征交换生成跨模态配对图像，实现 RGB-IR 行人重识别的集合级和实例级对齐，从而提升 RGB-IR 匹配性能。

ABSTRACT

RGB-Infrared (IR) person re-identification is very challenging due to the large cross-modality variations between RGB and IR images. The key solution is to learn aligned features to the bridge RGB and IR modalities. However, due to the lack of correspondence labels between every pair of RGB and IR images, most methods try to alleviate the variations with set-level alignment by reducing the distance between the entire RGB and IR sets. However, this set-level alignment may lead to misalignment of some instances, which limits the performance for RGB-IR Re-ID. Different from existing methods, in this paper, we propose to generate cross-modality paired-images and perform both global set-level and fine-grained instance-level alignments. Our proposed method enjoys several merits. First, our method can perform set-level alignment by disentangling modality-specific and modality-invariant features. Compared with conventional methods, ours can explicitly remove the modality-specific features and the modality variation can be better reduced. Second, given cross-modality unpaired-images of a person, our method can generate cross-modality paired images from exchanged images. With them, we can directly perform instance-level alignment by minimizing distances of every pair of images. Extensive experimental results on two standard benchmarks demonstrate that the proposed model favourably against state-of-the-art methods. Especially, on SYSU-MM01 dataset, our model can achieve a gain of 9.2% and 7.7% in terms of Rank-1 and mAP. Code is available at https://github.com/wangguanan/JSIA-ReID.

研究动机与目标

• 通过解决 RGB 与 IR 图像之间的大跨模态差距来提升 RGB-IR Re-ID 的研究动机。
• 提出一种生成跨模态配对图像的方法，以实现实例级对齐。
• 解耦模态不变内容和模态特定风格特征，以降低集合级差距。
• 实现模态对齐且具辨识性的特征的端到端学习。
• 在SYSU-MM01和RegDB基准上展示最先进的性能。

提出的方法

• 提出一个生成模块 G，包含三个编码器（模态不变 E^i、RGB 特定 E^s_rgb、IR 特定 E^s_ir）和两个解码器，通过交换解耦特征来生成跨模态配对图像。
• 训练一个特征对齐模块 F，使用共享的模态不变编码器进行集合级对齐，并使用实例级编码器最小化成对跨模态图像之间的距离。
• 应用重建损失、循环一致性损失和 GAN 损失，确保跨模态配对图像的现实性。
• 通过在学习空间 T 中使用身份分类器和三元组损失，最小化跨模态成对图像特征之间的 KL 散度，以实现实例级对齐。
• 将多种损失合并为一个联合目标 L，对循环一致性、GAN、对齐和 Re-ID 损失设定权重，以学习模态对齐且具辨识性的特征。
• 测试阶段，通过集合级和实例级编码器提取特征，并计算余弦相似度进行匹配。

实验结果

研究问题

• RQ1 将模态不变内容与模态特定风格解耦是否能减少 RGB 与 IR 图像之间的集合级跨模态差距？
• RQ2 生成的跨模态配对图像是否能够实现 RGB-IR Re-ID 的有效实例级对齐？
• RQ3 联合的集合级与实例级对齐是否优于仅使用全局分布对齐或仅进行图像到图像翻译的方法？
• RQ4 所提出的编码器和解码方案是否能产生适合 Re-ID 学习的现实跨模态图像？
• RQ5 解耦和对齐组件对 SYSU-MM01 与 RegDB 上的性能影响如何？

主要发现

• 所提出的 JSIA-ReID 在 SYSU-MM01（Rank-1 与 mAP 均有提升）和 RegDB（Rank-1 与 mAP 均有提升）上实现显著的超越现有方法的性能。
• 消融研究表明集合级和实例级对齐都对性能有贡献，SL+IL 联合得到最佳结果。
• 特征解耦有助于集合级对齐，并比非解耦基线更有效地降低模态差距。
• 生成的跨模态配对图像通过直接最小化成对图像之间的距离实现精确的实例级对齐。
• 该方法在不同评估设置（single-shot、multi-shot、all-search/ indoor-search）下均显示出稳健的性能。
• 从视觉分析看，所提出的生成相比 CycleGAN/StarGAN 基线产生更真实的跨模态配对图像。