[論文レビュー] Top-push Video-based Person Re-identification

Jinjie You, Ancong Wu+2 more|arXiv (Cornell University)|Apr 29, 2016

Video Surveillance and Tracking Methods参考文献 19被引用数 28

ひとこと要約

本稿では、上位ランクマッチングの最適化を課すことで特徴の判別力を向上させる、動画ベースの人物再識別を目的としたトッププッシュ距離学習（TDL）モデルを提案する。クラス内変動の最小化とトッププッシュ制約を統合することで、TDLは最先端の性能を達成し、iLIDS-VIDでRank-1で17.33%の優位性を示した。

ABSTRACT

Most existing person re-identification (re-id) models focus on matching still person images across disjoint camera views. Since only limited information can be exploited from still images, it is hard (if not impossible) to overcome the occlusion, pose and camera-view change, and lighting variation problems. In comparison, video-based re-id methods can utilize extra space-time information, which contains much more rich cues for matching to overcome the mentioned problems. However, we find that when using video-based representation, some inter-class difference can be much more obscure than the one when using still-image based representation, because different people could not only have similar appearance but also have similar motions and actions which are hard to align. To solve this problem, we propose a top-push distance learning model (TDL), in which we integrate a top-push constrain for matching video features of persons. The top-push constraint enforces the optimization on top-rank matching in re-id, so as to make the matching model more effective towards selecting more discriminative features to distinguish different persons. Our experiments show that the proposed video-based re-id framework outperforms the state-of-the-art video-based re-id methods.

研究の動機と目的

• 異なる個人間で類似した外見および運動パターンが生じるため、動画ベースの人物再識別における曖昧性の増大という課題に対処すること。
• 動画シーケンスに存在する時間的・運動的特徴を活用できない静止画像ベースの再識別手法の限界を克服すること。
• 上位ランクマッチング性能に注目して、明示的にクラス間マージンを拡大する判別的距離学習フレームワークを開発すること。
• 既存の相対的比較ベース手法と比較して、計算コストを低減しつつ、精度を維持または向上させること。

提案手法

• 上位ランクマッチングの最適化を促進するトッププッシュ制約とクラス内変動の最小化を統合したトッププッシュ距離学習（TDL）モデルを提案する。
• 空間的・時間的運動を表すHOG3Dと、色ヒストグラムとLBPを組み合わせたハイブリッド特徴表現を用いる。
• 上位ランクでの正しい順序付けを最優先とする距離メトリック学習目的関数を実装し、制約付き最適化フレームワークを採用する。
• トッププッシュ制約とクラス内分散の最小化のバランスを取るためにハイパーパrameter α を導入し、過学習を防ぎ、安定した最適化を確保する。
• 動画シーケンスにおけるクラス間マージンを最大化し、クラス内ばらつきを最小化する潜在的特徴空間学習戦略を採用する。
• [15]で提案されたトッププッシュアイデアをメトリック学習に応用し、人物再識別におけるTop-1およびTop-5マッチング正確性の向上に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 運動および外見のクラス間曖昧性が著しい状況下でも、トッププッシュ制約が動画ベースの人物再識別モデルの判別力を向上させ得るか？
• RQ2 トッププッシュ学習とクラス内分散最小化の統合が、動画再識別における上位ランクマッチング性能に与える影響は何か？
• RQ3 マルチフレーム表現を用いた場合、動画特徴が静止画像特徴をどれほど上回るか？
• RQ4 RDC や PRSVM といった既存の最先端手法と比較して、提案されたTDLモデルの正確性および計算効率はどの程度か？
• RQ5 過学習を回避する観点から、トッププッシュとクラス内分散最小化の最適なバランスを示すハイパーパrameter α の最適値は何か？

主な発見

• TDLモデルは、iLIDS-VIDでRank-1精度82.4%を達成し、最良のベースライン手法を17.33%上回った。
• PRID 2011では、TDLがRank-1精度77.3%を達成し、既存の動画ベース再識別手法に対して一貫した向上を示した。
• HOG3D、色ヒストグラム、LBP特徴の組み合わせが最良の性能を示し、動画表現においてそれらが相補的であることを確認した。
• 最適なハイパーパrameter α は約0.1であると判明し、トッププッシュとクラス内分散最小化のバランスを取ることで過学習を回避した。
• 複数フレームを用いた静止画像ベース手法は、動画ベースモデルに劣っており、空間的・時間的情報が強固な再識別に不可欠であることを示唆した。
• TDLはRDCの計算コストのたった3%にまで低減させ、相対的比較ベース手法と比較してはるかにスケーラブルでありながら、優れた正確性を維持した。