[论文解读] Adaptive Re-ranking of Deep Feature for Person Re-identification

Yong Liu, Lin Shang+1 more|arXiv (Cornell University)|Nov 21, 2018

Video Surveillance and Tracking Methods参考文献 25被引用 4

一句话总结

本文提出自适应重排序（ARR）与深度特征融合（DFF），通过利用上下文信息和子特征多样性来提升行人重识别性能。ARR 在重排序过程中迭代增加上下文相关性，而 DFF 通过扩散过程融合子特征；二者结合实现了最先进性能，在 Market 和 Duke 数据集上，ARR-DFF 的 mAP 分别较 SPreID 提升 4.2% 和 7.5%。

ABSTRACT

Typical person re-identification (re-ID) methods train a deep CNN to extract deep features and combine them with a distance metric for the final evaluation. In this work, we focus on exploiting the full information encoded in the deep feature to boost the re-ID performance. First, we propose a Deep Feature Fusion (DFF) method to exploit the diverse information embedded in a deep feature. DFF treats each sub-feature as an information carrier and employs a diffusion process to exchange their information. Second, we propose an Adaptive Re-Ranking (ARR) method to exploit the contextual information encoded in the features of neighbors. ARR utilizes the contextual information to re-rank the retrieval results in an iterative manner. Particularly, it adds more contextual information after each iteration automatically to consider more matches. Third, we propose a strategy that combines DFF and ARR to enhance the performance. Extensive comparative evaluations demonstrate the superiority of the proposed methods on three large benchmarks.

研究动机与目标

• 通过更好地利用深度学习得到的特征来提升行人重识别性能。
• 解决现有迭代重排序方法在迭代过程中无法自适应增加上下文信息的局限性。
• 利用深度特征表示中不同部分所蕴含的多样化信息，以改善度量学习。
• 开发一种稳健且对超参数不敏感的策略，结合重排序与特征融合，以提升行人重识别性能。

提出的方法

• 自适应重排序（ARR）通过动态扩展上下文邻域结构，迭代地重新排序匹配样本，以包含更多相关样本。
• ARR 在相似性图上使用基于扩散的过程传播亲和度分数，使每轮迭代都增加上下文信息。
• 深度特征融合（DFF）将深度特征划分为子特征，并通过扩散过程进行融合，以整合互补信息。
• DFF 过程将每个子特征建模为独立图，然后在图之间融合度量，生成统一且改进的距离度量。
• ARR-DFF 策略在子特征度量上应用 ARR，并通过 DFF 融合结果度量，实现性能的协同增益。
• 该方法设计为即插即用，兼容使用标准深度特征和距离度量的现有重识别流程。

实验结果

研究问题

• RQ1 能否通过在每次迭代中自适应地增加所用上下文信息量，使迭代重排序更加有效？
• RQ2 能否利用深度特征表示中子特征的多样性来提升行人重识别性能？
• RQ3 将自适应重排序与深度特征融合相结合，是否能相比单一组件取得更优性能？
• RQ4 所提出方法对超参数（如子特征数量和最近邻数）的敏感性如何？

主要发现

• 在 Market-1501 数据集上，ARR-DFF 实现 mAP 87.6% 和 R-1 准确率 91.5%，较 SPreID 提升 4.2 个百分点。
• 在 DukeMTMC-reID 数据集上，ARR-DFF 实现 mAP 80.8% 和 R-1 准确率 85.0%，较 SPreID 提升 7.5 个百分点。
• 在 CUHK03 数据集上，ARR-DFF 实现 mAP 74.2% 和 R-1 准确率 71.6%，展现出在具有挑战性和噪声较大的数据集上的强大性能。
• ARR-DFF 策略始终优于 DFF-ARR，在 Market-1501 上 R-1 准确率提升 4.2 个百分点，mAP 提升 2.8 个百分点。
• 该方法对超参数选择具有鲁棒性，S（子特征数量）和 k（最近邻数）取不同值时性能保持稳定。
• DFF-ARR 表现劣于 ARR-DFF，表明操作顺序至关重要，即先重排序后融合更有效。