[论文解读] HorNet: A Hierarchical Offshoot Recurrent Network for Improving Person Re-ID via Image Captioning

Shiyang Yan, Jun Xu+2 more|arXiv (Cornell University)|Aug 14, 2019

Video Surveillance and Tracking Methods参考文献 19被引用 4

一句话总结

本文提出HorNet，一种分层分支循环网络，通过联合学习图像与自动生成描述中的视觉和语言表征，以提升行人重识别（re-ID）性能。通过使用SPGAN进行领域迁移及图像字幕生成器生成高质量描述，HorNet在双层LSTM中利用离散二值门过滤相关语言特征，实现了在CUHK03、Market-1501和Duke-MTMC数据集上的最先进性能，经重排序后在Duke-MTMC上达到79.2% mAP和97.1% top-1 CMC准确率。

ABSTRACT

Person re-identification (re-ID) aims to recognize a person-of-interest across different cameras with notable appearance variance. Existing research works focused on the capability and robustness of visual representation. In this paper, instead, we propose a novel hierarchical offshoot recurrent network (HorNet) for improving person re-ID via image captioning. Image captions are semantically richer and more consistent than visual attributes, which could significantly alleviate the variance. We use the similarity preserving generative adversarial network (SPGAN) and an image captioner to fulfill domain transfer and language descriptions generation. Then the proposed HorNet can learn the visual and language representation from both the images and captions jointly, and thus enhance the performance of person re-ID. Extensive experiments are conducted on several benchmark datasets with or without image captions, i.e., CUHK03, Market-1501, and Duke-MTMC, demonstrating the superiority of the proposed method. Our method can generate and extract meaningful image captions while achieving state-of-the-art performance.

研究动机与目标

• 解决由姿态、视角和光照变化引起的行人重识别中外观差异问题。
• 克服真实世界行人重识别数据集中语言描述标注稀缺的问题。
• 开发一种方法，为未见行人图像生成高质量、判别性强的图像字幕。
• 利用新颖的分层循环架构，联合学习视觉与语言表征。
• 在使用标注与自动生成字幕的情况下，实现最先进水平的重识别性能。

提出的方法

• 采用相似性保持生成对抗网络（SPGAN）将真实世界图像迁移至统一领域，提升字幕质量。
• 使用图像字幕生成器为行人图像生成语义描述，尤其适用于无标注数据集。
• HorNet采用双分支架构：使用CNN（ResNet-50）进行视觉特征提取，使用带有Gumbel-Softmax门控的两层LSTM进行语言表征学习。
• LSTM中的离散二值门动态选择字幕中与视觉特征对齐的相关词汇。
• 模型联合优化视觉与语言表征，增强特征的判别性以提升重识别性能。
• 在特征提取后应用重排序，进一步提升mAP与CMC得分。

实验结果

研究问题

• RQ1 自动生成的图像字幕是否能显著降低行人重识别中的外观差异？
• RQ2 分层分支循环网络在融合视觉与语言表征用于重识别方面效果如何？
• RQ3 通过SPGAN进行领域自适应是否能提升下游重识别任务中生成字幕的质量？
• RQ4 HorNet能否超越使用辅助语言或属性信息的现有方法？
• RQ5 字幕质量对重识别性能的影响如何，特别是在跨领域迁移时？

主要发现

• 在使用标注字幕的CUHK03数据集上，HorNet实现97.1% top-1 CMC准确率，较ILA方法提升4.6%。
• 在Market-1501上，模型达到85.8% mAP，展现出强大的跨数据集泛化能力。
• 在缺乏字幕的Duke-MTMC上，经领域迁移与字幕生成后，模型mAP达到60.4%，优于基线视觉特征。
• 经重排序后，Duke-MTMC的mAP提升至79.2%，证明了联合表征学习的有效性。
• 将HorNet替换为BERT后性能下降，证实了所提出门控架构的优越性。
• 消融实验表明，字幕生成模块与分层分支机制对最优性能均不可或缺。