[論文レビュー] Person Re-identification for Real-world Surveillance Systems

Furqan Khan, François M Brémond|arXiv (Cornell University)|Jul 20, 2016

Video Surveillance and Tracking Methods参考文献 12被引用数 18

ひとこと要約

本稿では、複数の低レベル特徴にわたるガウス・ミクスチャ・モデル（GMM）として人物の外見をモデル化することで、マルチモードの変動を捉える、マルチチャネル外見ミクスチャ（MCAM）を用いた、教師なしのマルチショット人物再識別手法を提案する。教師あり学習を必要とせず、f-発散と共同符号化を組み合わせた類似度測定により、PRID2011、iLIDS-VID、SAIVT-SoftBioで最先端の性能を達成し、教師あり手法を含めた多くの手法を上回る。また、高価なアノテーションの必要性を排除した。

ABSTRACT

Appearance based person re-identification in a real-world video surveillance system with non-overlapping camera views is a challenging problem for many reasons. Current state-of-the-art methods often address the problem by relying on supervised learning of similarity metrics or ranking functions to implicitly model appearance transformation between cameras for each camera pair, or group, in the system. This requires considerable human effort to annotate data. Furthermore, the learned models are camera specific and not transferable from one set of cameras to another. Therefore, the annotation process is required after every network expansion or camera replacement, which strongly limits their applicability. Alternatively, we propose a novel modeling approach to harness complementary appearance information without supervised learning that significantly outperforms current state-of-the-art unsupervised methods on multiple benchmark datasets.

研究の動機と目的

• 実世界の監視システムにおける教師あり人物再識別手法の高コストなアノテーションと、一般化性の欠如を解決すること。
• ポーズ、視点、照明、遮蔽などの要因によるカメラ間の外見変動に対して、マルチショット再識別で高い耐性を持つこと。
• 教師ありメトリクス学習を必要としない、スケーラブルでカメラに依存しないシグニaturesスチャの表現を構築すること。
• 色、形状、テクスチャといった補完的特徴を、それぞれ独立してGMMでモデル化することで、効果的な特徴統合を実現すること。
• 再発展後の繰り返しアノテーションを回避するため、教師なし類似度測定のみで高い再識別精度を達成すること。

提案手法

• 各人物の外見を、各特徴（例：色、テクスチャ）を独立してガウス・ミクスチャ・モデル（GMM）としてモデル化するマルチチャネル外見ミクスチャ（MCAM）として表現する。
• 動きや視点の手がかりに依存せず、低レベル特徴の分散を用いて、人物の複数の外見モードを発見する。
• GMM間のf-発散と共同符号化ベースの距離を組み合わせ、外見シグニaturesスチャ間の類似度を計算する。
• 色、形状、テクスチャといった複数の補完的特徴を、特徴の独立性を保ちつつ統合した一貫性のあるシグニaturesスチャ表現に統合する。
• 教師ありメトリクス学習を回避し、統計的発散と辞書符号化に依存することで、カメラネットワーク全体にわたるスケーラビリティと一般化性を確保する。
• 顔認識のアノテーションを一切必要とせず、トラッキング済み人物検出結果とバウンディングボックスのみを用いて、エンドツーエンドでシステムを学習する。

実験結果

リサーチクエスチョン

• RQ1 教師ありメトリクス学習や大量の人的アノテーションを必要としないマルチショット人物再識別システムが、最先端の性能を達成できるか？
• RQ2 ガウス・ミクスチャ・モデル（GMM）は、実世界の監視環境におけるカメラ間の多様な外見変動をどれほど効果的に捉えることができるか？
• RQ3 f-発散と共同符号化を組み合わせた手法が、教師なし再識別において従来の類似度測定法をどれほど上回るか？
• RQ4 各特徴をGMMで独立してモデル化するシグニaturesスチャ表現は、統合的モデリング手法に比べて、補完的情報をより効果的に保持できるか？
• RQ5 本手法は、カメラ固有の学習を行わず、動的なカメラ追加や交換に対しても、実世界のシステムにスケーラブルに適用可能か？

主な発見

• PRID2011データセットでは、MCAM-LR+CRCSがランク1正解率39.9％を達成し、すべての教師なし手法を上回り、最良の教師あり手法（STFV3D+KISSME、43.8％）にほぼ並ぶ結果を示した。
• iLIDS-VIDでは、MCAM-LR+CRCSが39.9％のランク1正解率を達成し、すべての教師なしベースラインを上回り、21フレームのトラック長を必要としないにもかかわらず、STFV3D+KISSME（43.8％）にわずかに劣る結果となった。
• MCAMは、教師ありメトリクス学習を一切行わず、SAIVT-SoftBio、PRID2011、iLIDS-VIDのすべてで最先端の性能を達成し、データセット間での強い一般化能力を示した。
• MCAMは、MTL-LORAE や DVR といった複数の教師あり手法をも上回った。これは、改善されたシグニaturesスチャ表現が、メトリクス学習の欠如を補っていることを示している。
• 本手法は外見変動に対して頑健であり、トラック長の制約も不要であるため、品質が変動する実世界のシステムに適している。
• カメラネットワークの拡張後も、カメラ固有のモデルや再学習に依存しないため、繰り返しアノテーションコストを回避できる。