[论文解读] Divide and Fuse: A Re-ranking Approach for Person Re-identification

Rui Yu, Zhichao Zhou+2 more|arXiv (Cornell University)|Aug 11, 2017

Video Surveillance and Tracking Methods参考文献 10被引用 21

一句话总结

本文提出了一种新颖的无监督重排序框架，名为'Divide and Fuse'（DaF），用于行人重识别，通过将深度卷积神经网络特征划分为子特征、迭代编码上下文信息并融合结果来提升检索准确率。该方法在Market-1501数据集上达到最先进性能，mAP提升至72.42%，相较于基线模型提高2.32%。

ABSTRACT

As re-ranking is a necessary procedure to boost person re-identification (re-ID) performance on large-scale datasets, the diversity of feature becomes crucial to person reID for its importance both on designing pedestrian descriptions and re-ranking based on feature fusion. However, in many circumstances, only one type of pedestrian feature is available. In this paper, we propose a "Divide and use" re-ranking framework for person re-ID. It exploits the diversity from different parts of a high-dimensional feature vector for fusion-based re-ranking, while no other features are accessible. Specifically, given an image, the extracted feature is divided into sub-features. Then the contextual information of each sub-feature is iteratively encoded into a new feature. Finally, the new features from the same image are fused into one vector for re-ranking. Experimental results on two person re-ID benchmarks demonstrate the effectiveness of the proposed framework. Especially, our method outperforms the state-of-the-art on the Market-1501 dataset.

研究动机与目标

• 在缺乏多个互补特征的情况下，提升行人重识别的准确性。
• 利用单一高维深度特征向量内部的多样性进行重排序。
• 开发一种高效、无监督的重排序方法，无需额外训练或特征即可提升排序性能。
• 探究子特征的迭代上下文编码如何改善度量学习与检索性能。

提出的方法

• 该方法将单一深度特征向量（如2,048维的ResNet）划分为L个子特征，以引入多样性。
• 采用模糊聚合算子，通过k1个最近邻及其k2个最近邻的相似性，进行迭代特征编码。
• 通过邻域感知变换将上下文信息编码到新特征中，增强判别能力。
• 最终通过学习到的融合策略将所有编码后的子特征组合成融合特征向量。
• 框架使用倒排索引实现高效的稀疏向量匹配，支持快速推理（在Market-1501上每查询仅需0.12秒）。
• 该方法完全无监督，可作为后处理步骤应用于任意初始排序列表。

实验结果

研究问题

• RQ1 能否在单一深度特征向量内部有效引入多样性以提升重排序性能？
• RQ2 子特征的迭代邻域信息编码如何改善行人重识别中的特征表示？
• RQ3 子特征数量（L）、邻域大小（k1, k2）与融合权重（α）的最优配置为何，可实现最大性能？
• RQ4 纯粹无监督、与特征无关的重排序框架能否超越现有最先进方法？

主要发现

• 所提出的Divide and Fuse框架在Market-1501数据集上达到72.42%的mAP，相较于基线模型提升2.32%。
• 该方法在Market-1501上优于当前最先进重排序方法，证明其在真实世界基准中的有效性。
• 最优子特征数量L约为10，可在多样性与子特征维度之间取得平衡，同时保留判别能力。
• 最优融合权重α为0.4，表明所提出的模糊聚合算子优于算术平均（α=1）。
• 当k1=20且k2=4时性能最佳，表明邻域增强应聚焦于近距离邻域，以避免噪声干扰。
• 迭代编码将mAP从71.22%提升至72.42%，且超过两次迭代后收益递减，因此两次迭代是实际应用的合理选择。