[论文解读] Improving Deep Visual Representation for Person Re-identification by Global and Local Image-language Association

Dapeng Chen, Hongsheng Li+4 more|arXiv (Cornell University)|Aug 5, 2018

Multimodal Machine Learning Applications参考文献 38被引用 8

一句话总结

本文提出了一种新颖的行人重识别方法，通过利用自然语言描述作为训练监督信号，借助全局和局部图像-语言关联来增强深度视觉表征。通过注意力机制实现的特征对齐，联合优化身份级别的全局对齐与区域-名词短语的局部对应关系，该方法在不使用测试时辅助数据的情况下，在Market-1501、CUHK03和CUHK01数据集上均取得了最先进性能。

ABSTRACT

Person re-identification is an important task that requires learning discriminative visual features for distinguishing different person identities. Diverse auxiliary information has been utilized to improve the visual feature learning. In this paper, we propose to exploit natural language description as additional training supervisions for effective visual features. Compared with other auxiliary information, language can describe a specific person from more compact and semantic visual aspects, thus is complementary to the pixel-level image data. Our method not only learns better global visual feature with the supervision of the overall description but also enforces semantic consistencies between local visual and linguistic features, which is achieved by building global and local image-language associations. The global image-language association is established according to the identity labels, while the local association is based upon the implicit correspondences between image regions and noun phrases. Extensive experiments demonstrate the effectiveness of employing language as training supervisions with the two association schemes. Our method achieves state-of-the-art performance without utilizing any auxiliary information during testing and shows better performance than other joint embedding methods for the image-language association.

研究动机与目标

• 通过将自然语言描述作为训练监督信号，提升行人重识别的深度视觉表征。
• 通过利用语言中的语义和高层信息，解决在低数据场景下学习判别性特征的挑战。
• 建立全局和局部图像-语言关联，以在不同粒度上指导视觉特征学习。
• 证明基于语言的监督比现有的辅助信号（如姿态、属性或摄像头ID）更有效且具有互补性。
• 在推理阶段不依赖辅助数据的情况下，实现最先进性能。

提出的方法

• 该方法采用双监督机制：基于身份标签的全局图像-语言关联，用于对齐整体图像与文本特征。
• 通过注意力机制建立局部图像-语言关联，将名词短语与对应图像区域关联，以强化语义一致性。
• 从注意力视觉特征中重建短语特征，使特征嵌入具有可解释性并正则化学习过程。
• 模型采用ResNet-50主干网络，并通过多任务学习联合优化重识别准确率与图像-文本对齐。
• 将全局与局部关联损失相结合，用于监督视觉与文本表征的训练。
• 该框架使用弱标注的图像-文本对进行端到端训练，其中每张行人图像均与一句描述性语句配对。

实验结果

研究问题

• RQ1 自然语言描述能否作为有效的监督信号，以提升行人重识别中深度视觉表征的性能？
• RQ2 全局与局部图像-语言关联如何促进学习更具判别性与语义一致性的特征？
• RQ3 所提方法是否优于现有的图像-文本联合嵌入方法用于行人重识别？
• RQ4 当训练数据有限时，语言监督是否能显著提升性能？
• RQ5 该方法是否能在不使用测试时辅助数据的情况下，泛化到多个基准数据集？

主要发现

• 在Market-1501数据集上，该方法在多查询协议下达到81.8%的mAP和93.3%的top-1准确率，实现最先进性能。
• 在CUHK03（标注边界框）数据集上，该方法达到92.5%的top-1准确率和98.8%的top-5准确率，相比之前最先进方法D-person在top-1准确率上高出1.1%。
• 在CUHK01数据集上，该方法相比基线模型实现7.8%的top-1准确率提升，表明其在低数据场景下具有强大有效性。
• 消融实验表明，全局与局部图像-语言关联均有效且具有互补性，其中局部机制显著提升了特征的可解释性与对齐程度。
• 该方法优于其他图像-文本对应联合嵌入方法，证明了所提关联机制的优越性。
• 该模型在推理阶段未使用任何辅助信息（如姿态、摄像头ID、属性）的情况下仍取得优异性能，凸显了语言作为自监督信号的有效性。