[論文レビュー] Beyond Part Models: Person Retrieval with Refined Part Pooling.

Yifan Sun, Liang Zheng+3 more|arXiv (Cornell University)|Nov 26, 2017

Video Surveillance and Tracking Methods被引用数 202

ひとこと要約

本稿では、部分レベルの特徴抽出を強化することで人物再検索性能を向上させるため、Part-based Convolutional Baseline (PCB) と Refined Part Pooling (RPP) の手法を提案する。PCB は均一な空間的分割を用いて部分特徴を生成するが、RPP は外れ値とされる特徴をより類似した部分に再割り当てすることで、部分内の一貫性を向上させ、Market-1501 で 77.4%+4.2% mAP および 92.3%+1.5% rank-1 を達成し、最先端手法を上回る性能を発揮する。

ABSTRACT

Employing part-level features for pedestrian image description offers fine-grained information and has been verified as beneficial for person retrieval in very recent literature. A prerequisite of part discovery is that each part should be well located. Instead of using external cues, e.g., pose estimation, to directly locate parts, this paper lays emphasis on the content consistency within each part. Specifically, we target at learning discriminative part-informed features for person retrieval and make two contributions. (i) A network named Part-based Convolutional Baseline (PCB). Given an image input, it outputs a convolutional descriptor consisting of several part-level features. With a uniform partition strategy, PCB achieves competitive results with the state-of-the-art methods, proving itself as a strong convolutional baseline for person retrieval. (ii) A refined part pooling (RPP) method. Uniform partition inevitably incurs outliers in each part, which are in fact more similar to other parts. RPP re-assigns these outliers to the parts they are closest to, resulting in refined parts with enhanced within-part consistency. Experiment confirms that RPP allows PCB to gain another round of performance boost. For instance, on the Market-1501 dataset, we achieve (77.4+4.2)% mAP and (92.3+1.5)% rank-1 accuracy, surpassing the state of the art by a large margin.

研究の動機と目的

• ポーズ推定などの外部情報に依存せずに、より判別力のある部分情報付き特徴を学習することで、人物再検索性能を向上させること。
• 均一に分割された部分における外れ値の問題が、部分内一貫性を低下させ、特徴品質を損なうという課題を解決すること。
• コンテンツ類似度に基づいて、類似性の低い特徴をより関連性の高い部分に再割り当てすることで、部分レベル特徴表現を強化する手法を開発すること。
• 従来の手法を上回る性能を示す部分特徴を用いた強力な畳み込みベースのベースラインを確立すること。
• 洗練されたプーリングによる部分内一貫性の向上が、人物再検索において顕著な性能向上をもたらすことを実証すること。

提案手法

• 人物画像の特徴マップを均一な空間的領域に分割し、グローバル平均プーリングにより部分レベル特徴を抽出する Part-based Convolutional Baseline (PCB) を提案する。
• 特徴マップを等サイズの領域に分割する均一な分割戦略を適用し、人物再検索のためのエンドツーエンド学習を可能にする。
• 外れ値特徴（自身の割り当てられた部分と一致度が低い特徴）を、特徴埋め込み距離に基づいて最も類似した部分に再割り当てする Refined Part Pooling (RPP) を導入する。
• 部分特徴間のコサイン類似度を用いて、各外れ値特徴の最も近い部分を特定し、各部分表現の判別力を向上させる。
• RPP を特徴抽出後のポストプロセッシングステップとして統合し、バックボーンネットワークのアーキテクチャを変更せずに部分特徴を洗練する。
• 標準的な人物再検索損失関数を用いて PCB ネットワークをエンドツーエンドで学習し、推論時に RPP を適用することで特徴品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 外部監視なしに、単純な均一な分割戦略が、人物再検索に適した競争力のある部分レベル特徴を生成できるか？
• RQ2 均一に分割された部分内に存在する外れ値が、特徴品質と再検索性能にどの程度悪影響を及ぼすか？
• RQ3 外れ値特徴をより類似した部分に再割り当てすることで、部分内一貫性と全体の再検索正確性が向上するか？
• RQ4 コンテンツベースの再割り当てによる部分特徴の洗練が、標準的なプーリング手法と比較して測定可能な性能向上をもたらすか？
• RQ5 提案された RPP 手法が、PCB のような強力なベースラインに効果的に適用可能で、最先端の結果を達成できるか？

主な発見

• Part-based Convolutional Baseline (PCB) は、均一な空間的分割のみを用いても競争力のある性能を発揮し、人物再検索における強力なベースラインとして確立された。
• RPP は、コンテンツ類似度に基づいて外れ値特徴をより類似した部分に再割り当てすることで、特徴の部分内一貫性を顕著に向上させた。
• Market-1501 データセットにおいて、PCB と RPP の組み合わせは 77.4%+4.2% mAP および 92.3%+1.5% rank-1 の正確性を達成し、以前の最先端手法を上回った。
• RPP による性能向上は顕著であり、コンテンツ一貫性に基づく部分特徴の洗練が、人物再検索において非常に有効であることを示している。
• 結果から、部分レベル特徴学習において、固定された空間的分割に依存するのではなく、コンテンツに基づく外れ値の再割り当てがより効果的であることが示された。