[論文レビュー] PRISM: Person Re-Identification via Structured Matching

Ziming Zhang, Venkatesh Saligrama|arXiv (Cornell University)|Jun 13, 2014

Video Surveillance and Tracking Methods被引用数 6

ひとこと要約

PRISMは、視覚的単語の共起パターンを複数のカメラ視点間でモデル化することで、顔貌の大きな変化下でもマッチング精度を向上させる構造化マッチングフレームワークを提案する。重み付き二部グラフマッチングの枠組み内で共起統計に基づいてエッジ重みを学習することにより、PRISMは低コストかつ低記憶容量で最先端の性能を達成する。

ABSTRACT

Person re-identification (re-id), an emerging problem in visual surveillance, deals with maintaining entities of individuals whilst they traverse various locations surveilled by a camera network. From a visual perspective re-id is challenging due to significant changes in visual appearance of individuals in cameras with different pose, illumination and calibration. Globally the challenge arises from the need to maintain structurally consistent matches among all the individual entities across different camera views. We propose PRISM, a structured matching method to jointly account for these challenges. We view the global problem as a weighted graph matching problem and estimate edge weights by learning to predict them based on the co-occurrences of visual patterns in the training examples. These co-occurrence based scores in turn account for appearance changes by inferring likely and unlikely visual co-occurrences appearing in training instances. We implement PRISM on single shot and multi-shot scenarios. PRISM uniformly outperforms state-of-the-art in terms of matching rate while being computationally efficient.

研究の動機と目的

• 非重複するカメラ視点間で顔貌が著しく変化する監視システムにおける人物再識別という課題に対処すること。
• 視覚的単語の共起パターンをモデル化することで、視覚的曖昧さと空間的歪みを克服し、クロスビューでの人物マッチングを改善すること。
• エンティティレベルのマッチングを統合的に最適化するため、人物再識別を重み付き二部グラフマッチング問題として定式化すること。
• 実世界の展開に適した計算効率と低記憶要件を維持しながら、高いマッチング精度を達成すること。
• 一回撮影と複数回撮影の両方の再識別シナリオにこの手法を拡張し、一貫した性能向上を実現すること。

提案手法

• ノードを人物エンティティ、エッジを類似度スコアとして定義する重み付き二部グラフマッチング問題として人物再識別をモデル化する。
• トレーニングデータから得られる視覚的単語の共起統計に基づく構造的学習フレームワークを用いてエッジ重みを学習する。
• 異なるカメラからの画像ペアにおける視覚的コードワードの共起パターンに基づく基本関数を定義し、頑健な外見変換を捉える。
• 潜在変数付き条件付き密度を用いたカーネル平均埋め込みにより、視覚的単語の空間的分布を共通の潜在空間に符号化する。
• トレーニングデータの統計から共起基本関数の重みを推定し、妥当なおよび不適切な視覚的マッチングを予測する。
• 構造化マッチングを適用して誤ったシングルトンマッチングを是正し、エンティティマッチングのグローバルな整合性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 視覚的単語の共起パターンをどのように活用することで、人物再識別における外見変化へのロバスト性を向上させられるか？
• RQ2 重み付き二部グラフ最適化による構造化マッチングは、従来のペアワイズマッチングを上回る性能を発揮できるか？
• RQ3 視覚的単語の空間的分布を組み込むことで、ポーズ、照明、キャリブレーションの変化下でもクロスビューでのマッチングがどのように向上するか？
• RQ4 標準的な外見特徴と比較して、共起に基づく基本関数がマッチング精度に与える影響は何か？
• RQ5 提案手法は、実世界の監視応用において低記憶容量および低計算コストを維持しながらも、高い性能を維持できるか？

主な発見

• PRISMは複数のベンチマークデータセットで最先端の性能を達成し、VIPeRデータセットにおいてマルチショット設定下で22.6%のランク-1マッチングレートを達成した。
• PRISM-iiiは、1サンプルあたりたった16.2 KBの記憶容量でVIPeRで22.6%のランク-1精度を達成し、高い効率性を示した。
• 構造化マッチングは誤ったシングルトンマッチングを是正する。定性的な結果から、PRISMは非構造的ベースラインが見逃した真のマッチングを効果的に回復した。
• 316枚のプローブおよびギャラリー画像に対するエンティティレベルマッチングにおいて、計算時間を2秒未満に削減でき、T3（構造化マッチング）はたった1.3〜1.5秒で実行された。
• PRISMは、一回撮影および複数回撮影の両方の再識別設定において、KISSME や KISSME+SM といったSOTA手法を一貫して上回った。
• 共起に基づく基本関数は、外見変換（例：白から薄い青に変化）を効果的にモデル化し、クロスビューの変化に強い性能を向上させた。