[論文レビュー] Beyond Part Models: Person Retrieval with Refined Part Pooling (and a Strong Convolutional Baseline)

Yifan Sun, Liang Zheng+3 more|arXiv (Cornell University)|Nov 26, 2017

Video Surveillance and Tracking Methods参考文献 42被引用数 152

ひとこと要約

この論文は、均一な部分分割を用いた強力な畳み込みベースを用いた人物再識別（PCB）と、アウトライヤー特徴を再配置して部位内の一貫性を高める Refined Part Pooling（RPP）を提案し、Pose cuesなしで Market-1501、DukeMTMC-reID、CUHK03 において最先端の結果を達成する。

ABSTRACT

Employing part-level features for pedestrian image description offers fine-grained information and has been verified as beneficial for person retrieval in very recent literature. A prerequisite of part discovery is that each part should be well located. Instead of using external cues, e.g., pose estimation, to directly locate parts, this paper lays emphasis on the content consistency within each part. Specifically, we target at learning discriminative part-informed features for person retrieval and make two contributions. (i) A network named Part-based Convolutional Baseline (PCB). Given an image input, it outputs a convolutional descriptor consisting of several part-level features. With a uniform partition strategy, PCB achieves competitive results with the state-of-the-art methods, proving itself as a strong convolutional baseline for person retrieval. (ii) A refined part pooling (RPP) method. Uniform partition inevitably incurs outliers in each part, which are in fact more similar to other parts. RPP re-assigns these outliers to the parts they are closest to, resulting in refined parts with enhanced within-part consistency. Experiment confirms that RPP allows PCB to gain another round of performance boost. For instance, on the Market-1501 dataset, we achieve (77.4+4.2)% mAP and (92.3+1.5)% rank-1 accuracy, surpassing the state of the art by a large margin.

研究の動機と目的

• 外部のポーズ手がかりなしに、人物検索の識別的な部位情報特徴を学習する動機付け。
• PCB を提案し、畳み込み層出力の均一な分割を介して部位レベルの特徴を抽出する。
• アウトライヤーを再配置して部位内の一貫性を強化する Refined Part Pooling（RPP）を導入する。
• PCB + RPP が主要な re-ID ベンチマークで新しい最先端の結果を達成することを示す。

提案手法

• PCB は global pooling を置換し、畳み込み特徴マップの均一な水平方向分割を適用し、各部位分類器と最終的な部位記述子の結合を行う。
• PCB は最後の空間的ダウンサンプリングを保持したバックボーン（例：ResNet-50）を使用して部位の粒度を増やし、各ストライプをベクターにプーリングして次元を削減し、各自の FC+Softmax ブランチで分類する。
• RPP は部位分類器を導入し、Softmax を用いて各局所特徴を p 部位のいずれかに割り当て、次に部位ごとに特徴をサンプリングしてストライプレベルの分割を洗練する。
• 誘導的なトレーニング手順は、均一な分割で初期化し、部位分類器を追加し、二段階目でバックボーンを固定して部位分類器を学習させ、最終的に全ネットワークを微調整する。
• 比較された変種は、独立した部位ごとの損失と非共有分類器パラメータが識別的な部位特徴に有利であることを示す。

実験結果

リサーチクエスチョン

• RQ1 均一な部位分割を用いた強力な畳み込みベースは、ポーズや領域提案なしで人物再識別において競争力のある性能を達成できるか。
• RQ2 learned 部位分類器（RPP）を介して均一分割を洗練すると、部位内の一貫性と全体的な検索指標は改善されるか。
• RQ3 PCB+RPP は標準の re-ID ベンチマークにおいて注意機構ベースやポーズ誘導の分割法とどのように比較されるか。

主な発見

モデル	特徴	次元	Market-1501 R-1	Market-1501 R-5	Market-1501 R-10	Market-1501 mAP	DukeMTMC-reID R-1	DukeMTMC-reID R-5	DukeMTMC-reID R-10	DukeMTMC-reID mAP	CUHK03 R-1	CUHK03 R-5	CUHK03 R-10	CUHK03 mAP
IDE	pool5	2048	85.3	94.0	96.3	68.5	73.2	84.0	87.6	52.8	43.8	62.7	38.9
IDE	FC	256	83.8	93.1	95.8	67.7	72.4	83.0	87.1	51.6	43.3	62.5	38.3
Variant 1	G	12288	86.7	95.2	96.5	69.4	73.9	84.6	88.1	53.2	43.6	62.9	71.3	38.8
Variant 1	H	1536	85.6	94.3	96.3	68.3	72.8	83.3	87.2	52.5	44.1	63.0	71.5	39.1
Variant 2	G	12288	91.2	96.6	97.7	75.0	80.2	88.8	91.3	62.8	52.6	72.4	80.9	45.8
Variant 2	H	1536	91.0	96.6	97.6	75.3	80.0	88.1	90.4	62.6	54.0	73.7	81.4	47.2
PCB	G	12288	92.3	97.2	98.2	77.4	81.7	89.7	91.9	66.1	59.7	77.7	85.2	53.2
PCB	H	1536	92.4	97.0	97.9	77.3	81.9	89.4	91.6	65.3	61.3	78.6	85.6	54.2
PCB+RPP	G	12288	93.8	97.5	98.5	81.6	83.3	90.5	92.5	69.2	62.8	79.8	86.8	56.7
PCB+RPP	H	1536	93.1	97.4	98.3	81.0	82.9	90.1	92.3	68.5	63.7	80.6	86.9	57.5

• PCB（均一分割）はグローバル記述子ベースラインより大幅な改善をもたらし、人物再識別の強力な畳み込みベースラインを確立する。
• RPP はアウトライヤーを最も類似した部位へ再配置することで部位内の一貫性を高め、性能をさらに向上させる（mAP を押し上げる）。
• PCB+RPP は Market-1501（mAP 81.6、Rank-1 93.1）、DukeMTMC-reID（mAP 69.2、Rank-1 83.7）、CUHK03（mAP 57.5、Rank-1 63.7）で再ランキングなしの最先端結果を達成する。
• 部位分類器の誘導的トレーニングは重要であり、誘導なしでは注意機構のような挙動が劣る。
• 部位分類器間で FC パラメータを共有することは性能を損なうため、部位ごとに別々の分類器を用いる方が望ましい。
• IDE ベースラインと比較して、PCB はデータセット全体で顕著な mAP の改善を提供する（例：Market-1501: 68.5→77.4 mAP、Duke: 52.8→66.1 mAP）。