[论文解读] Beyond Part Models: Person Retrieval with Refined Part Pooling.

Yifan Sun, Liang Zheng+3 more|arXiv (Cornell University)|Nov 26, 2017

Video Surveillance and Tracking Methods被引用 202

一句话总结

本文提出了一种基于部件的卷积基线（PCB）和精炼部件池化（RPP）方法，通过增强部件级别的特征学习来提升行人重识别性能。PCB 使用均匀的空间划分生成部件特征，而 RPP 将异常特征重新分配给更相似的部件，从而提升部件内的一致性，在 Market-1501 上实现了 77.4%+4.2% mAP 和 92.3%+1.5% rank-1 的性能，超越了当前最先进方法。

ABSTRACT

Employing part-level features for pedestrian image description offers fine-grained information and has been verified as beneficial for person retrieval in very recent literature. A prerequisite of part discovery is that each part should be well located. Instead of using external cues, e.g., pose estimation, to directly locate parts, this paper lays emphasis on the content consistency within each part. Specifically, we target at learning discriminative part-informed features for person retrieval and make two contributions. (i) A network named Part-based Convolutional Baseline (PCB). Given an image input, it outputs a convolutional descriptor consisting of several part-level features. With a uniform partition strategy, PCB achieves competitive results with the state-of-the-art methods, proving itself as a strong convolutional baseline for person retrieval. (ii) A refined part pooling (RPP) method. Uniform partition inevitably incurs outliers in each part, which are in fact more similar to other parts. RPP re-assigns these outliers to the parts they are closest to, resulting in refined parts with enhanced within-part consistency. Experiment confirms that RPP allows PCB to gain another round of performance boost. For instance, on the Market-1501 dataset, we achieve (77.4+4.2)% mAP and (92.3+1.5)% rank-1 accuracy, surpassing the state of the art by a large margin.

研究动机与目标

• 通过学习更具判别性的部件感知特征，无需依赖姿态估计等外部线索，提升行人重识别性能。
• 解决均匀划分部件中异常值导致的部件内一致性降低及特征质量下降的问题。
• 提出一种方法，通过基于内容相似度将不相似的特征重新分配至更相关的部件，从而增强部件级别特征表示。
• 建立一种基于部件特征的强卷积基线，其性能优于现有方法。
• 验证通过精炼池化提升部件内一致性可显著提升行人重识别性能。

提出的方法

• 提出基于部件的卷积基线（PCB），将行人图像的特征图均匀划分为空间部件，并通过全局平均池化提取部件级别特征。
• 采用均匀划分策略将特征图划分为大小相等的区域，支持端到端训练网络用于行人重识别。
• 提出精炼部件池化（RPP），识别并重新分配与所属部件不一致的异常特征，将其重新分配至在特征嵌入距离上最相似的部件。
• 利用部件特征之间的余弦相似度确定每个异常特征最应归属的部件，从而提升每个部件表示的判别性。
• 将 RPP 作为特征提取后的后处理步骤，不修改主干网络结构即可优化部件特征。
• 使用标准行人重识别损失函数端到端训练 PCB 网络，RPP 在推理阶段应用以提升特征质量。

实验结果

研究问题

• RQ1 仅使用简单均匀划分策略是否能生成在无外部监督下具有竞争力的部件级别特征用于行人重识别？
• RQ2 均匀划分部件中的异常值在多大程度上会降低特征质量与检索性能？
• RQ3 将异常特征重新分配至更相似的部件，是否能提升部件内一致性与整体检索准确率？
• RQ4 通过基于内容的重新分配优化部件特征，是否能带来相对于标准池化方法的可测量性能提升？
• RQ5 所提出的 RPP 方法是否能有效应用于 PCB 等强基线模型，以实现最先进性能？

主要发现

• 基于部件的卷积基线（PCB）仅通过均匀空间划分即实现了具有竞争力的性能，确立了其作为行人重识别的强基线。
• RPP 通过基于内容相似度将异常特征重新分配至更相似的部件，显著提升了特征的部件内一致性。
• 在 Market-1501 数据集上，PCB 与 RPP 的结合实现了 77.4%+4.2% mAP 和 92.3%+1.5% rank-1 准确率，优于先前最先进方法。
• RPP 带来的性能增益显著，表明通过内容一致性精炼部件特征对行人重识别极为有效。
• 结果表明，基于内容的异常特征重分配比单纯依赖固定空间划分在部件级别特征学习中更具优势。