[論文レビュー] Learning Correspondence Structures for Person Re-identification

Weiyao Lin, Yang Shen+5 more|arXiv (Cornell University)|Mar 20, 2017

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本稿では、視点やポーズの変化によって引き起こされる空間的不整合をブースティングベースの手法を用いて局所的マッチング確率を学習する、人物再識別における対応構造学習フレームワークを提案する。グローバル制約とマルチ構造戦略を統合することで、外観の曖昧性や不整合に対する耐性を高め、ベンチマークデータセットで最先端の性能を達成した。

ABSTRACT

This paper addresses the problem of handling spatial misalignments due to camera-view changes or human-pose variations in person re-identification. We first introduce a boosting-based approach to learn a correspondence structure which indicates the patch-wise matching probabilities between images from a target camera pair. The learned correspondence structure can not only capture the spatial correspondence pattern between cameras but also handle the viewpoint or human-pose variation in individual images. We further introduce a global constraint-based matching process. It integrates a global matching constraint over the learned correspondence structure to exclude cross-view misalignments during the image patch matching process, hence achieving a more reliable matching score between images. Finally, we also extend our approach by introducing a multi-structure scheme, which learns a set of local correspondence structures to capture the spatial correspondence sub-patterns between a camera pair, so as to handle the spatial misalignments between individual images in a more precise way. Experimental results on various datasets demonstrate the effectiveness of our approach.

研究の動機と目的

• カメラ視点の違いや人物ポーズの変化による人物再識別の空間的不整合を解消すること。
• 固定されたカメラペア間で安定したクロスビュー空間的対応パターンを、学習された対応構造を用いてモデル化すること。
• グローバル制約の統合により、外観の曖昧性や隠蔽による干渉をマッチング段階で低減すること。
• マルチ構造戦略により複数の空間的対応サブパターンを捉えることでマッチング精度を向上させること。
• 標準的な人物再識別ベンチマークで最先端の性能を達成すること。

提案手法

• カメラペアからの画像間の局所的マッチング確率を符号化するため、ブースティングベースのアプローチを用いて対応構造行列を学習する。
• 各パッチの対応を、ポーズや視点の変化に対応するためのマッチング確率を表す重みを有する1対多グラフとしてモデル化する。
• パッチマッチング中にグローバル制約を統合し、クロスビューの不整合を抑制し、マッチングの信頼性を向上させる。
• 複数の局所的対応構造を学習するマルチ構造戦略を導入し、側面から正面、右から後ろへのマッピングなどのサブパターンを捉える。
• 類似度計算にKISSME距離尺度とハンガリアン法を用い、$T_c$、$T_d$、およびパッチサイズのパラメータチューニングを実施する。
• 低確率マッチングをフィルタリングするためのしきい値$T_c$と、空間的ずれを扱うための探索範囲$T_d$を適用する。

実験結果

リサーチクエスチョン

• RQ1 カメラ視点の違いやポーズの変化によって引き起こされる空間的不整合を、人物再識別においてどのように効果的にモデル化できるか。
• RQ2 学習された対応構造により、固定カメラ間で安定したクロスビュー空間的パターンを符号化することで、マッチング精度が向上するか。
• RQ3 グローバル制約を統合することで、外観の曖昧性に起因する誤検出（偽陽性）はどの程度低減されるか。
• RQ4 マルチ構造戦略により複数の空間的対応サブパターンをモデル化することで、単一のグローバル構造に比べて性能が向上するか。
• RQ5 精度と計算コストのバランスを取る最適なハイパーパrameter（$T_c$、$T_d$、パッチサイズ）は何か。

主な発見

• 提案手法は、VIPeR、PRID 450S、3DPeS、Road、SYSU-sReIDを含む複数のベンチマークデータセットで最先端の性能を達成した。
• 対応構造のおかげで、外観の類似性や隠蔽による干渉が著しく低減され、マッチングの信頼性が向上した。
• $T_c = 0.05$および$T_d = 32$が最適な性能をもたらし、$T_c$が0.03未満または0.07を超えると性能が低下した。
• $128\times48$ピクセルの画像において、パッチサイズが$20\times15$から$28\times21$の範囲が最適であり、特徴の豊かさと空間的柔軟性のバランスが取れていた。
• ハンガリアン法を用いたテスト処理は、平均して1画像ペアあたり3.99–4.20 msであり、最大のデータセットでも合計推論時間が5分未満だった。
• マルチ構造戦略により、側面から正面／後ろへの変換など、複雑なポーズ変化に対する空間的不整合のより細分化されたモデリングが可能になった。