[论文解读] Deep Co-attention based Comparators For Relative Representation Learning in Person Re-identification

Lin Wu, Yang Wang+2 more|arXiv (Cornell University)|Apr 30, 2018

Video Surveillance and Tracking Methods参考文献 33被引用 9

一句话总结

本文提出了一种基于深度协同注意力的比较器（DCCs），这是一种新颖的神经网络，用于行人重识别，通过联合关注成对图像中相互依赖的区域，学习相对的、动态的表征。通过模仿人类的中央凹视觉并使用迭代协同注意力机制，DCCs 在 DukeMTMC-reID、CUHK03 和 Market-1501 数据集上实现了最先进性能，其中在 Market-1501 上的 rank-1 准确率为 86.7%，mAP 为 69.4%。

ABSTRACT

Person re-identification (re-ID) requires rapid, flexible yet discriminant representations to quickly generalize to unseen observations on-the-fly and recognize the same identity across disjoint camera views. Recent effective methods are developed in a pair-wise similarity learning system to detect a fixed set of features from distinct regions which are mapped to their vector embeddings for the distance measuring. However, the most relevant and crucial parts of each image are detected independently without referring to the dependency conditioned on one and another. Also, these region based methods rely on spatial manipulation to position the local features in comparable similarity measuring. To combat these limitations, in this paper we introduce the Deep Co-attention based Comparators (DCCs) that fuse the co-dependent representations of the paired images so as to focus on the relevant parts of both images and produce their extit{relative representations}. Given a pair of pedestrian images to be compared, the proposed model mimics the foveation of human eyes to detect distinct regions concurrent on both images, namely co-dependent features, and alternatively attend to relevant regions to fuse them into the similarity learning. Our comparator is capable of producing dynamic representations relative to a particular sample every time, and thus well-suited to the case of re-identifying pedestrians on-the-fly. We perform extensive experiments to provide the insights and demonstrate the effectiveness of the proposed DCCs in person re-ID. Moreover, our approach has achieved the state-of-the-art performance on three benchmark data sets: DukeMTMC-reID \cite{DukeMTMC}, CUHK03 \cite{FPNN}, and Market-1501 \cite{Market1501}.

研究动机与目标

• 解决现有基于区域的行人重识别方法存在的局限性，即特征提取与相似性学习被分开处理，且未建模跨图像依赖关系。
• 克服对局部特征固定空间定位的依赖，从而阻碍对行人图像进行灵活且动态的比较。
• 通过学习以待比较图像对为条件的相对表征，实现在未见身份上的实时、快速泛化。
• 通过建模成对图像中相互依赖的并行特征，提升相似性学习效果，灵感来源于人类视觉的中央凹视觉与注意力累积机制。
• 开发一个统一框架，融合特征学习与相似性度量，避免解耦方法导致的次优性能。

提出的方法

• 提出一种基于深度协同注意力的比较器（DCC）架构，其包含一个协同注意力编码器，用于从成对图像中学习相互依赖的特征。
• 实现一个循环比较器，通过在两幅图像之间迭代循环，交替关注相关区域，以优化相似性估计。
• 使用双分支卷积主干网络，从每对图像中提取初始特征。
• 应用协同注意力机制，通过基于另一幅图像上下文来关注相关区域，从而建模跨图像依赖关系。
• 集成一个可微的相似性估计模块，生成针对每对图像量身定制的动态、相对表征。
• 端到端训练，采用对比损失优化判别性相对表征，以提升跨摄像头的行人重识别性能。

实验结果

研究问题

• RQ1 协同注意力机制是否能在相似性学习过程中通过建模跨图像依赖关系来提升行人重识别性能？
• RQ2 通过学习动态依赖于成对图像的相对表征，是否能实现对未见身份更好的泛化能力？
• RQ3 一种在两幅图像中交替关注特征的循环比较器，是否能优于单次通过的注意力机制或固定空间池化方法？
• RQ4 在行人重识别中，端到端联合学习特征表征与相似性度量的方法，与解耦方法相比有何差异？
• RQ5 协同注意力在多大程度上能减少对空间操作和固定区域提议的依赖，从而改善基于部件的重识别？

主要发现

• DCCs 在 Market-1501 数据集上实现了最先进性能，单次查询评估的 rank-1 准确率为 86.7%，mAP 为 69.4%。
• 在引入度量学习（DCCs+KISSME）后，rank-1 准确率提升至 88.4%，创下 Market-1501 数据集当前最佳结果。
• 在 DukeMTMC-reID 上，DCCs 相较于之前最先进方法（GOG）将 rank-1 准确率提升了 14.5 个百分点。
• 在 DukeMTMC-reID 上，DCCs 相较于 SVDNet 在 rank-1 上提升 3.3%，在 mAP 上提升 2.4%，表明其泛化能力和特征质量更优。
• 相较于无监督方法如 UMDL 和 PUL，DCCs 性能显著更优，原因在于其数据相关、端到端学习的相对表征。
• DCCs 优于基于部件的模型如 SpindleNet 和 Part-aligned，因其学习的是协同依赖特征，而非依赖于固定的空间对齐。