[论文解读] GreyReID: A Two-stream Deep Framework with RGB-grey Information for Person Re-identification

Lei Qi, Lei Wang+3 more|arXiv (Cornell University)|Aug 14, 2019

Video Surveillance and Tracking Methods参考文献 49被引用 5

一句话总结

本文提出GreyReID，一种双流深度学习框架，通过联合利用RGB图像与灰度图像，挖掘其互补信息，以提升行人重识别（Re-ID）性能。该方法分别对RGB与灰度图像分支进行独立训练，并采用逐元素相加的方式在联合分支中融合特征，再通过全局损失优化最终拼接的特征表示，从而减少对基于颜色的过拟合，实现在多个基准测试上的最先进性能。

ABSTRACT

In this paper, we observe that most false positive images (i.e., different identities with query images) in the top ranking list usually have the similar color information with the query image in person re-identification (Re-ID). Meanwhile, when we use the greyscale images generated from RGB images to conduct the person Re-ID task, some hard query images can obtain better performance compared with using RGB images. Therefore, RGB and greyscale images seem to be complementary to each other for person Re-ID. In this paper, we aim to utilize both RGB and greyscale images to improve the person Re-ID performance. To this end, we propose a novel two-stream deep neural network with RGB-grey information, which can effectively fuse RGB and greyscale feature representations to enhance the generalization ability of Re-ID. Firstly, we convert RGB images to greyscale images in each training batch. Based on these RGB and greyscale images, we train the RGB and greyscale branches, respectively. Secondly, to build up connections between RGB and greyscale branches, we merge the RGB and greyscale branches into a new joint branch. Finally, we concatenate the features of all three branches as the final feature representation for Re-ID. Moreover, in the training process, we adopt the joint learning scheme to simultaneously train each branch by the independent loss function, which can enhance the generalization ability of each branch. Besides, a global loss function is utilized to further fine-tune the final concatenated feature. The extensive experiments on multiple benchmark datasets fully show that the proposed method can outperform the state-of-the-art person Re-ID methods. Furthermore, using greyscale images can indeed improve the person Re-ID performance.

研究动机与目标

• 为解决因不同身份间颜色相似性导致的行人Re-ID中误报问题。
• 探究灰度图像是否能为RGB图像提供互补信息，以改善特征表示。
• 开发一种有效的双流深度学习框架，实现RGB与灰度特征的融合，以增强模型的泛化能力与鲁棒性。
• 证明通过灰度图像去除颜色信息，可减少对颜色的过拟合，同时保留结构线索。

提出的方法

• 框架在每个训练批次中同时处理RGB与灰度图像，RGB与灰度图像分支分别独立训练。
• 通过RGB分支与灰度图像分支特征的逐元素相加，构建联合分支以建模跨流交互。
• 每个分支使用独立的损失函数进行训练，以提升泛化能力，同时通过全局损失对最终拼接的特征表示进行微调。
• 最终特征通过拼接RGB、灰度图像与联合分支的输出获得，以增强判别能力。
• 探索一种基于两层全连接网络并结合Softmax归一化的自适应加权机制，以动态平衡RGB与灰度特征的贡献。
• 在训练过程中应用灰度转换的数据增强策略，以提升多样性并减少基于颜色的过拟合。

实验结果

研究问题

• RQ1 通过减少对颜色信息的依赖，灰度图像能否提升行人Re-ID性能？
• RQ2 如何有效融合RGB与灰度图像特征，以充分利用其在行人Re-ID中的互补性？
• RQ3 与端到端训练相比，采用各分支独立损失的联合训练策略是否能提升模型泛化能力？
• RQ4 在双流Re-ID框架中，结合RGB与灰度图像特征的最优融合策略是什么？
• RQ5 所提出的框架能否在标准Re-ID基准上超越现有最先进方法？

主要发现

• 所提出的GreyReID框架在四个主要Re-ID基准上达到最先进性能：Market1501（mAP: 85.6，Rank-1: 94.5）、DukeMTMC-reID（mAP: 76.5，Rank-1: 88.0）、CUHK03-Detect（mAP: 61.0，Rank-1: 62.9）以及MSMT17（mAP: 44.9，Rank-1: 70.4）。
• 在训练中使用灰度图像显著提升了Re-ID性能，最佳结果出现在灰度图像与RGB图像的比例为1:0.10时。
• 与拼接、乘法及自适应加权等其他融合方法相比，逐元素相加的融合策略在mAP与Rank-1准确率上表现更优。
• 特征图可视化结果表明，RGB与灰度图像分支关注不同区域，证实其在捕捉结构与颜色线索方面的互补性。
• 采用各分支独立损失与最终特征全局损失的联合学习策略，生成了更具鲁棒性与泛化能力的表示。
• 消融实验表明，即使在RGB与灰度图像比例为1:1时，模型仍保持优异性能，表明灰度数据为最终表示贡献了有意义的不变性。