[論文レビュー] Pose-guided Visible Part Matching for Occluded Person ReID

Shang Gao, Jingya Wang+2 more|arXiv (Cornell University)|Apr 1, 2020

Video Surveillance and Tracking Methods参考文献 32被引用数 27

ひとこと要約

本論文は、グラフマッチングに基づく偽ラベル付けを用いて、外部アノテーションを一切用いずに特徴対応から可視性スコアを抽出することで、部分の可視性とポーズガイドド注意を同時に学習する自己教師あり手法であるPose-guided Visible Part Matching (PVPM)を提案する。3つのベンチマークデータセットにおいて最先端の性能を達成した。

ABSTRACT

Occluded person re-identification is a challenging task as the appearance varies substantially with various obstacles, especially in the crowd scenario. To address this issue, we propose a Pose-guided Visible Part Matching (PVPM) method that jointly learns the discriminative features with pose-guided attention and self-mines the part visibility in an end-to-end framework. Specifically, the proposed PVPM includes two key components: 1) pose-guided attention (PGA) method for part feature pooling that exploits more discriminative local features; 2) pose-guided visibility predictor (PVP) that estimates whether a part suffers the occlusion or not. As there are no ground truth training annotations for the occluded part, we turn to utilize the characteristic of part correspondence in positive pairs and self-mining the correspondence scores via graph matching. The generated correspondence scores are then utilized as pseudo-labels for visibility predictor (PVP). Experimental results on three reported occluded benchmarks show that the proposed method achieves competitive performance to state-of-the-art methods. The source codes are available at https://github.com/hh23333/PVPM

研究の動機と目的

• グローバル特徴が多様な遮蔽要因によって損なわれる遮蔽された人物再識別という課題に対処すること。
• 分野バイアスを有する外部アノテーション（例：ポーズやマスクデータ）に依存する既存手法の限界を克服すること。
• 判別的部品特徴と可視性予測を統合的に最適化するエンドツーエンドのフレームワークを構築すること。
• 正例ペアにおける内在的対応関係を用いて、グラフマッチングにより自己教師ありで可視性予測器を学習可能にする仕組みを提供すること。

提案手法

• ポーズランドマークを用いて部品特徴をプーリングするPose-guided Attention (PGA)モジュールを導入し、判別性の高い局所表現を強化する。
• 各ボディパーツが遮蔽されているか可視であるかを推定するPose-guided Visibility Predictor (PVP)を提案する。
• 正例ペアにおける特徴対応問題をグラフマッチングにより解き、可視性予測のための偽ラベルを生成する。
• グラフマッチングから得られる対応スコアを自己教師ありの監督信号として用い、可視性予測器を学習する。
• 可視性重み付き距離を用いて部品レベル特徴を統合し、最終的なマッチングスコアを計算する。
• トリプレットランク損失と可視性予測を統合したマルチタスク損失を用いて、ネットワーク全体をエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 グラフマッチングに基づく対応スコアを用いた自己教師あり学習は、真のアノテーションが存在しない状況でも、可視性予測器を効果的に学習できるか？
• RQ2 ポーズガイドド注意は、外観ベースや均等なパーティショニング手法と比較して、遮蔽されたReIDにおいて特徴の判別性をどのように向上させるか？
• RQ3 学習された可視性スコアの統合は、遮蔽されたReIDベンチマークにおけるマッチング精度を向上させるか？
• RQ4 正則化係数λ や部品数Np といったハイパーパrameterの変更に伴う性能の感度はどの程度か？

主な発見

• Occluded-REIDデータセットではPVPMが66.8%のmAPを達成し、ベースラインのRPP（55.8%）およびR+S（51.8%）を大きく上回った。
• Partial-REIDではPVPMが75.3%のmAPを達成し、RPP（63.7%）およびR+S（59.7%）を上回り、部分的遮蔽に対する強い一般化性能を示した。
• P-DukeMTMC-reIDではPVPMが50.1%のmAPを達成し、RPP（40.4%）およびR+S（35.6%）を著しく上回り、複雑な遮蔽に対してもロバストであることを示した。
• アブレーションスタディの結果、部品数Np を増やすことで4部品まで性能が向上するが、それ以上になると過剰パーティショニングによる性能低下が生じた。
• 最適な正則化係数λ = 0.9が最良の性能をもたらし、判別能力と可視性予測精度のバランスを果たす役割を果たすことが確認された。
• 可視化結果から、ポーズガイドド注意は非遮蔽領域に集中している一方で、外観ベースの手法は新しい遮蔽パターンに適応できないことが確認された。