[论文解读] AlignedReID: Surpassing Human-Level Performance in Person Re-Identification

Xuan Zhang, Hao Luo+7 more|arXiv (Cornell University)|Nov 22, 2017

Video Surveillance and Tracking Methods参考文献 39被引用 437

一句话总结

本文提出 AlignedReID，一种联合全局-局部特征框架，通过最短路径实现自动局部部位对齐，并采用互学习，在 Market1501 和 CUHK03 上达到最先进结果，超越人类水平。

ABSTRACT

In this paper, we propose a novel method called AlignedReID that extracts a global feature which is jointly learned with local features. Global feature learning benefits greatly from local feature learning, which performs an alignment/matching by calculating the shortest path between two sets of local features, without requiring extra supervision. After the joint learning, we only keep the global feature to compute the similarities between images. Our method achieves rank-1 accuracy of 94.4% on Market1501 and 97.8% on CUHK03, outperforming state-of-the-art methods by a large margin. We also evaluate human-level performance and demonstrate that our method is the first to surpass human-level performance on Market1501 and CUHK03, two widely used Person ReID datasets.

研究动机与目标

• 在姿态、遮挡和错位条件下，通过利用全局与局部线索来推动鲁棒的人体再识别。
• 开发一个端到端的学习框架，在没有额外监督或姿态估计的情况下对齐局部部件。
• 通过模型之间的互学习来改进度量学习，从而提升表征质量。
• 在标准的 ReID 数据集上进行评估，并与人类表现进行比较以建立基准。

提出的方法

• 使用CNN提取特征图。
• 通过全局池化计算全局特征。
• 通过水平池化再加一个1x1卷积以减少通道数来计算H个局部特征。
• 将局部距离定义为局部特征之间距离矩阵上的最短路径距离（动态规划）。
• 将全局距离和局部距离结合，用于联合度量学习损失（TriHard）。
• 通过联合训练两个模型并使用度量和分类的互损来应用互学习；使用零梯度共享以稳定训练。

实验结果

研究问题

• RQ1 隐式局部特征对齐是否能在不需要显式姿态监督的情况下改善ReID的全局特征学习？
• RQ2 互学习是否进一步提升表示质量和排名性能，相较于单一的 AlignReID 模型？
• RQ3 在推断阶段，仅靠全局特征并通过学习到的局部对齐，能在多大程度上与全局+局部表示相竞争？
• RQ4 AlignedReID 相对于标准 ReID 基准在人类表现方面的表现如何？
• RQ5 使用 AlignReID 特征进行再排序时，对最终性能的影响如何？

主要发现

• AlignedReID 相较于基线有显著提升，在 Market1501、CUHK-SYSU 和 CUHK03 的 rank-1 和 mAP 上均有显著提升。
• 单独的全局特征，在学习到局部特征对齐的情况下，其性能几乎与推断时同时使用全局和局部特征的情况相匹配或超过。
• 互学习进一步提升性能，尤其是在采用具有不同骨干网络的架构时（如 ResNet50 与 ResNet50-Xception）。
• 使用再排序时，AlignedReID 在 Market1501 上达到 94.4% 的 rank-1 和 90.7% 的 mAP，在 CUHK03 上达到 97.8% 的 rank-1，超越之前的方法。
• 人类评估显示，最佳标注者在 Market1501 和 CUHK03 的 rank-1 分别达到 93.5% 和 95.7%，而使用再排序的 AlignedReID 在 Market1501 (94.4%) 与 CUHK03 (97.8%) 上表现更高。
• 该方法在跨数据集上表现出强鲁棒性，并给出定性对齐示例，说明对错位和遮挡具有鲁棒性。