[论文解读] EANet: Enhancing Alignment for Cross-Domain Person Re-identification

Houjing Huang, Wenjie Yang+6 more|arXiv (Cornell University)|Dec 29, 2018

Video Surveillance and Tracking Methods参考文献 48被引用 35

一句话总结

EANet 提出部分对齐池化（PAP）和部分分割（PS）约束，以提升跨域行人重识别中的特征定位与对齐能力。通过利用关键点引导的池化和在未标注目标数据上的伪分割监督，该模型在 Market1501、CUHK03 和 DukeMTMC-reID 上的源域与零样本跨域设置下均实现了最先进性能，mAP 提升最高达 8.8%。

ABSTRACT

Person re-identification (ReID) has achieved significant improvement under the single-domain setting. However, directly exploiting a model to new domains is always faced with huge performance drop, and adapting the model to new domains without target-domain identity labels is still challenging. In this paper, we address cross-domain ReID and make contributions for both model generalization and adaptation. First, we propose Part Aligned Pooling (PAP) that brings significant improvement for cross-domain testing. Second, we design a Part Segmentation (PS) constraint over ReID feature to enhance alignment and improve model generalization. Finally, we show that applying our PS constraint to unlabeled target domain images serves as effective domain adaptation. We conduct extensive experiments between three large datasets, Market1501, CUHK03 and DukeMTMC-reID. Our model achieves state-of-the-art performance under both source-domain and cross-domain settings. For completeness, we also demonstrate the complementarity of our model to existing domain adaptation methods. The code is available at https://github.com/huanghoujing/EANet.

研究动机与目标

• 解决将行人重识别（ReID）模型部署到新、未见域时性能下降的挑战。
• 通过增强特征定位能力并减少各部分之间的冗余，提升模型在源域上的泛化能力。
• 在目标域无需身份标签的情况下，实现有效的域自适应。
• 展示所提组件与现有域自适应方法的互补性。

提出的方法

• 提出部分对齐池化（PAP），用关键点坐标（来自 COCO 训练的姿态估计模型）引导的区域池化替代均匀的水平条带池化。
• 引入部分分割（PS）约束，利用 DensePose 训练模型生成的伪标签，在 ReID 特征图上训练分割头，以改善定位能力并减少冗余。
• 在未标注的目标域图像上训练期间应用 PS 约束，作为正则化项，实现有效的无监督域自适应。
• 采用两阶段训练策略：首先在源域上使用 PAP 和 PS 进行预训练，然后在目标域上使用 PS 约束进行微调，无需身份标签。
• 利用预训练模型（COCO 和 DensePose）提供的关键点与分割监督，引导特征学习，而无需在目标域上进行标注。

实验结果

研究问题

• RQ1 与均匀条带池化相比，关键点引导的部分池化是否能提升跨域 ReID 性能？
• RQ2 在 ReID 特征上施加部分分割约束是否能减少特征冗余并提升定位能力？
• RQ3 当目标域无身份标签时，PS 约束是否可作为无监督域自适应中有效的正则化项？
• RQ4 所提组件在源域与跨域 ReID 设置下，与最先进方法相比表现如何？

主要发现

• PAP-S-PS 模型在单域设置下于 Market1501 上达到 85.6% 的 mAP，CUHK03 上为 66.8%，DukeMTMC-reID 上为 74.6%，分别优于 PCB+RPP 4.0%、9.3% 和 5.4%。
• 在跨域迁移设置下，PAP-ST-PS 模型在 M→D 上达到 56.1% mAP，D→M 上为 66.1%，C→M 上为 66.4%，C→D 上为 45.0%，分别优于 HHL 8.8%、4.4%、10.8% 和 3.0% 的 mAP。
• PAP-ST-PS-SPGAN-CFT 变体在 M→D 上达到 67.7% mAP，在 D→M 上达到 78.0% mAP，表明在极具挑战性的零样本设置下仍具备强大性能。
• PS 约束显著降低了相邻部分之间的特征冗余，表现为相邻区域池化特征间余弦相似度更低。
• 该方法与现有域自适应技术具有互补性，如与标签估计或基于 GAN 的方法结合后性能进一步提升。