[論文レビュー] Horizontal Pyramid Matching for Person Re-identification

Yang Fu, Yunchao Wei+6 more|arXiv (Cornell University)|Apr 14, 2018

Video Surveillance and Tracking Methods参考文献 32被引用数 59

ひとこと要約

Horizontal Pyramid Matching (HPM) を導入し、平均と最大プーリングの両方を用いて部分的で多段階の水平パート特徴を学習し、ポスト処理なしで最先端の再識別性能を達成します。

ABSTRACT

Despite the remarkable recent progress, person re-identification (Re-ID) approaches are still suffering from the failure cases where the discriminative body parts are missing. To mitigate such cases, we propose a simple yet effective Horizontal Pyramid Matching (HPM) approach to fully exploit various partial information of a given person, so that correct person candidates can be still identified even even some key parts are missing. Within the HPM, we make the following contributions to produce a more robust feature representation for the Re-ID task: 1) we learn to classify using partial feature representations at different horizontal pyramid scales, which successfully enhance the discriminative capabilities of various person parts; 2) we exploit average and max pooling strategies to account for person-specific discriminative information in a global-local manner. To validate the effectiveness of the proposed HPM, extensive experiments are conducted on three popular benchmarks, including Market-1501, DukeMTMC-ReID and CUHK03. In particular, we achieve mAP scores of 83.1%, 74.5% and 59.7% on these benchmarks, which are the new state-of-the-arts. Our code is available on Github

研究の動機と目的

• 部分的または欠損した体の部位や不整合に対して堅牢な Re-ID を実現する動機づけ。
• 水平ピラミッドスケールを介して部分情報を活用する簡潔でエンドツーエンドのフレームワークを提案。
• グローバル平均プーリングとグローバル最大プーリングを組み合わせて、文脈情報と識別情報の双方を捕捉する。
• Market-1501、DukeMTMC-ReID、CUHK03 でポスト処理なしで最先端の性能を実証。

提案手法

• 特徴マップを水平方向に複数のピラミッドスケール（HPP）に分割する。
• 各ピラミッドスケールの各水平ビンに対して独立した分類器を学習する。
• 各パーティション内でグローバル平均プーリングとグローバル最大プーリングの両方を用いて G_{i,j} = avgpool(F_{i,j}) + maxpool(F_{i,j}) を得る。
• 各 G_{i,j} を畳み込み層を用いて256次元に縮約し H_{i,j} を形成し、各ビンの分類器に入力する。
• 全ピラミッドビンとスケールにまたがるクロスエントロピーロスの総和で学習する。
• 推定時には、スケール全体のすべてのビンからの特徴を結合して最終表現とする。

実験結果

リサーチクエスチョン

• RQ1 水平多スケール分割は、Re-IDにおけるアライメントずれや欠損した体の部分に対する頑健性を向上させることができるか？
• RQ2 各パーティション内で平均プーリングと最大プーリングを組み合わせると識別力が高まるか？
• RQ3 競争力のあるエンドツーエンドのRe-ID性能を得るための最適なピラミッドスケールとプーリング構成は何か？
• RQ4 ポスト処理なしでMarket-1501、DukeMTMC-ReID、CUHK03におけるHPMの最先端手法との比較はどうか？

主な発見

モデル	Market-1501_R1	Market-1501_R5	Market-1501_R10	Market-1501_mAP	DukeMTMC-ReID_R1	DukeMTMC-ReID_mAP	CUHK03_R1	CUHK03_mAP
PCB	92.4	97.0	97.9	77.3	81.8	66.1	61.3	54.2
PCB+RPP	93.8	97.5	98.5	81.6	83.3	69.2	63.7	57.5
HPM(ours)	94.2	97.5	98.5	83.1	86.6	74.3	63.9	57.5

• HPMはMarket-1501で83.1%、DukeMTMC-ReIDで74.5%、CUHK03で59.7%のmAPを新プロトコルで達成（当時の最先端）。
• HPMはMarket-1501およびDukeMTMC-ReIDで、post-processingなしのmAPとRank-1でPCBおよびPCB+RPPのベースラインを上回る。
• 4つのピラミッドスケールと最大プーリングと平均プーリングの混在が、グローバル特徴とローカル特徴の最良のトレードオフを提供する。
• 最大プーリングは一般に平均プーリングより良い結果をもたらし、両方のプーリング戦略を組み合わせるとさらなる向上が得られる。
• アブレーション研究は、4つのピラミッドスケールがグローバル情報とローカル情報のバランスをとることを示し、それ以上のスケールは一貫した改善を生まずコストを増加させる。