[论文解读] On Exploring Pose Estimation as an Auxiliary Learning Task for Visible-Infrared Person Re-identification

Yunqi Miao, Nianchang Huang+3 more|arXiv (Cornell University)|Jan 11, 2022

Video Surveillance and Tracking Methods被引用 4

一句话总结

本文提出了一种新颖的双流框架，利用姿态估计作为辅助任务以提升可见光-红外行人重识别（VI-ReID）性能。通过知识蒸馏实现层次化特征约束，联合训练姿态估计与ReID，该方法学习到模态共享且与身份相关的特征，在RegDB数据集上实现了20%的mAP提升，达到最先进性能。

ABSTRACT

Visible-infrared person re-identification (VI-ReID) has been challenging due to the existence of large discrepancies between visible and infrared modalities. Most pioneering approaches reduce intra-class variations and inter-modality discrepancies by learning modality-shared and ID-related features. However, an explicit modality-shared cue, i.e., body keypoints, has not been fully exploited in VI-ReID. Additionally, existing feature learning paradigms imposed constraints on either global features or partitioned feature stripes, which neglect the prediction consistency of global and part features. To address the above problems, we exploit Pose Estimation as an auxiliary learning task to assist the VI-ReID task in an end-to-end framework. By jointly training these two tasks in a mutually beneficial manner, our model learns higher quality modality-shared and ID-related features. On top of it, the learnings of global features and local features are seamlessly synchronized by Hierarchical Feature Constraint (HFC), where the former supervises the latter using the knowledge distillation strategy. Experimental results on two benchmark VI-ReID datasets show that the proposed method consistently improves state-of-the-art methods by significant margins. Specifically, our method achieves nearly 20$\%$ mAP improvements against the state-of-the-art method on the RegDB dataset. Our intriguing findings highlight the usage of auxiliary task learning in VI-ReID.

研究动机与目标

• 为解决可见光-红外行人重识别（VI-ReID）中的大模态差异与类内变化问题。
• 利用人体关键点作为对光照和视角变化具有鲁棒性的显式模态共享线索。
• 通过分层监督强制全局与局部特征学习之间的一致性，实现两者的同步。
• 通过端到端联合训练ReID与姿态估计，提升特征判别能力。
• 通过辅助任务学习与知识蒸馏，在基准VI-ReID数据集上实现最先进性能。

提出的方法

• 引入姿态估计分支（PEB）作为辅助任务，从人体关键点中提取模态共享特征。
• 采用联合训练策略，使ReID与姿态估计任务相互监督，以增强特征判别能力。
• 通过知识蒸馏应用分层特征约束（HFC），其中全局特征监督局部部件特征，以确保一致性。
• 采用多损失目标函数：身份损失（$L_{id}$）、异质中心三元组损失（$L_{hctri}$）、姿态估计损失（$L_{pose}$）以及知识蒸馏损失（$L_{KD}$）。
• 通过消融实验优化损失权重，选择$eta=0.1$、$ heta=5$、$ ho=1$以获得最佳性能。
• 使用Grad-CAM可视化注意力图，确认模型关注关键点区域而非任意图像块。

实验结果

研究问题

• RQ1 姿态估计能否作为有效的辅助任务以提升可见光-红外行人重识别中的特征学习？
• RQ2 如何有效同步全局与局部特征学习，以改善判别性表征学习？
• RQ3 模态共享的人体关键点在多大程度上有助于减少VI-ReID中的跨模态差异？
• RQ4 全局特征与部件级特征之间的知识蒸馏在多大程度上增强了特征一致性与性能？
• RQ5 ReID与姿态估计的联合优化能否在基准数据集上实现最先进性能？

主要发现

• 所提方法在RegDB数据集上相比最先进方法实现了20%的mAP提升，在All-search设置下达到87.88%的mAP。
• 在SYSU-MM01数据集上，该方法在使用$f_{ALL}$时达到64.52%的mAP，相比使用$f_{ID}$的基线提升了3.83%。
• 仅使用姿态估计分支（PEB）即可在RegDB上提升mAP 4%，在SYSU-MM01上提升2%，证明其有效性。
• 分层特征约束（HFC）在RegDB上带来3.72%的mAP增益，在SYSU-MM01上带来2%的增益，证实其在特征一致性中的作用。
• Grad-CAM可视化结果表明，模型聚焦于人体关键点而非随机图像区域，验证了注意力机制的有效性。
• 最优损失权重组合$eta=0.1$、$ heta=5$、$ ho=1$确保了在两个数据集上的稳定收敛与最佳性能。