[论文解读] End-to-End Deep Kronecker-Product Matching for Person Re-identification

Yantao Shen, Tong Xiao+3 more|arXiv (Cornell University)|Jul 30, 2018

Video Surveillance and Tracking Methods参考文献 28被引用 6

一句话总结

本文提出了一种端到端的深度学习框架，用于行人重识别，采用克罗内克积匹配（Kronecker Product Matching, KPM）模块来学习特征图之间的概率空间对应关系，并结合软变形方案实现特征对齐。该方法集成了多尺度沙漏网络与残差自注意力机制，在Market-1501、CUHK03和DukeMTMC数据集上实现了最先进性能，mAP分别相较基线模型提升了6.5%、6.3%和7.7%。

ABSTRACT

Person re-identification aims to robustly measure similarities between person images. The significant variation of person poses and viewing angles challenges for accurate person re-identification. The spatial layout and correspondences between query person images are vital information for tackling this problem but are ignored by most state-of-the-art methods. In this paper, we propose a novel Kronecker Product Matching module to match feature maps of different persons in an end-to-end trainable deep neural network. A novel feature soft warping scheme is designed for aligning the feature maps based on matching results, which is shown to be crucial for achieving superior accuracy. The multi-scale features based on hourglass-like networks and self-residual attention are also exploited to further boost the re-identification performance. The proposed approach outperforms state-of-the-art methods on the Market-1501, CUHK03, and DukeMTMC datasets, which demonstrates the effectiveness and generalization ability of our proposed approach.

研究动机与目标

• 通过利用空间对应关系与特征对齐，解决在大姿态与视角变化下行人重识别的挑战。
• 克服基于CNN的Re-ID方法中全局池化与直接向量化带来的局限性，后者会丢失空间布局信息并导致图像间特征错位。
• 通过可微分的变形机制学习判别性、空间感知的特征匹配，提升相似度估计性能。
• 通过沙漏式结构整合多尺度表征以及基于注意力的特征加权，增强模型鲁棒性。
• 通过在标准Re-ID基准上的消融实验，验证各组件模块的有效性。

提出的方法

• 克罗内克积匹配（KPM）模块通过特征向量的克罗内克积计算两幅行人特征图之间的匹配置信度图，实现概率性空间对应关系的学习。
• 一种连续的软变形方案基于KPM置信度图对一幅特征图进行形变，实现在相似度计算前的可微分、端到端特征对齐。
• 残差自注意力（Residual Self-Attention, RSA）模块为空间区域分配可学习权重，突出判别性身体部位并抑制背景噪声。
• 沙漏式网络结构生成多尺度特征图，支持在多个分辨率下进行匹配与变形，提升模型鲁棒性。
• 整个框架通过三元组损失与温度缩放的交叉熵损失端到端训练，同时优化度量学习与注意力校准。
• 最终的相似度分数通过聚合变形后的特征并应用全连接层与Softmax计算得出。

实验结果

研究问题

• RQ1 结合软变形的克罗内克积匹配能否通过端到端建模空间对应关系，提升行人重识别的准确性？
• RQ2 在相似度估计性能方面，软特征变形相较于直接输入匹配置信度有何优势？
• RQ3 残差自注意力在聚焦判别性区域方面，能在多大程度上改善特征表示？
• RQ4 通过沙漏结构实现的多尺度特征学习对重识别准确率有何影响？
• RQ5 KPM与RSA中的温度超参数如何影响匹配图与注意力图的集中程度，以及整体性能表现？

主要发现

• 所提方法在CUHK03数据集上实现了89.2%的mAP与91.1%的top-1准确率，相较基线模型mAP提升6.3%，top-1准确率提升8.2%。
• 消融实验表明，在KPM后移除软变形机制，Market-1501、CUHK03与DukeMTMC上的mAP分别下降4.7%、11.2%与4.3%，证明其关键作用。
• 集成残差自注意力后，Market-1501、CUHK03与DukeMTMC上的mAP分别提升1.4%、0.7%与2.1%，top-1准确率分别提升1.3%、1.0%与0.7%。
• 沙漏结构使Market-1501、CUHK03与DukeMTMC上的mAP分别提升1.1%与1.3%、1.2%与1.8%、4.9%与3.7%，相较基线表现更优。
• 在Market-1501上，跨尺度相似度分数平均（Baseline+HG ML）相比特征拼接（Baseline+HG）表现差0.7% mAP与0.9% top-1，表明拼接在多尺度融合中更有效。
• 最优温度超参数为τ_KPM = 0.05与τ_RSA = 1.0，该设置使匹配图集中于高置信区域，同时使注意力图在前景区域广泛分布，经由表6验证有效。