[論文レビュー] Long-Term Identity-Aware Multi-Person Tracking for Surveillance Video Summarization

Shoou-I Yu, Yi Yang+2 more|arXiv (Cornell University)|Apr 25, 2016

Video Surveillance and Tracking Methods参考文献 50被引用数 9

ひとこと要約

本論文は、顔認識による頑健な再初期化と多様体学習を用いて、顔検出が行われないフレームに対してもアイデンティティを伝搬させる、長期監視映像向けのアイデンティティ認識型マルチパーソントラッキングシステムを提案する。15台のカメラで構成される4,935時間にわたる介護施設のデータセット上で評価された結果、局所化精度は53.2%、精度は69.8%を達成し、38%の精度と52%の再現率を示す視覚的日記への有効な動画要約を可能にした。

ABSTRACT

Multi-person tracking plays a critical role in the analysis of surveillance video. However, most existing work focus on shorter-term (e.g. minute-long or hour-long) video sequences. Therefore, we propose a multi-person tracking algorithm for very long-term (e.g. month-long) multi-camera surveillance scenarios. Long-term tracking is challenging because 1) the apparel/appearance of the same person will vary greatly over multiple days and 2) a person will leave and re-enter the scene numerous times. To tackle these challenges, we leverage face recognition information, which is robust to apparel change, to automatically reinitialize our tracker over multiple days of recordings. Unfortunately, recognized faces are unavailable oftentimes. Therefore, our tracker propagates identity information to frames without recognized faces by uncovering the appearance and spatial manifold formed by person detections. We tested our algorithm on a 23-day 15-camera data set (4,935 hours total), and we were able to localize a person 53.2% of the time with 69.8% precision. We further performed video summarization experiments based on our tracking output. Results on 116.25 hours of video showed that we were able to generate a reasonable visual diary (i.e. a summary of what a person did) for different people, thus potentially opening the door to automatic summarization of the vast amount of surveillance video generated every day.

研究の動機と目的

• 数日間にわたる顔認識の変化や繰り返し再入室が生じる長期監視動画におけるマルチパーソントラッキングの課題に対処すること。
• 顔認識をスパarselyなアイデンティティラベルとして活用し、長期間にわたるトラッカーの自動再初期化を可能にすること。
• 顔検出が行われないフレームに対しても、外見的および空間時間的多様体学習を用いてアイデンティティラベルを伝搬させること。
• 長期監視における個別的活動分析を可能にする、個別に特化した視覚的日記への自動動画要約を可能にすること。
• 複雑な屋内環境における長期マルチオブジェクトトラッキングのための大規模かつ現実世界のベンチマークデータセットを提供すること。

提案手法

• トラッカーは、顔認識をスパースなアイデンティティラベルとして用いるトラッキング・バイ・検出フレームワークを採用する。
• アイデンティティ伝搬は、外見的および空間時間的整合性を保つために非負行列分解を用いた制約付き二次計画問題としてモデル化される。
• 制約には、1つのトラックに1つの検出結果のみを許容する相互排他的性と、空間的局所性を満たすことで現実的なトラッキング割り当てを保証するものがある。
• 本手法は、人物検出の低ランク多様体を学習することで、顔認識が利用できないフレームにおけるアイデンティティ推定を可能にする。
• 顔認識を用いて、長期間のギャップやトラッキング障害後にもトラックを再初期化することで、月単位のシーケンスにおいても耐障害性を向上させる。
• 視覚的日記は、トラッキングされた軌跡から活動スニペット（例：座る、社会的相互作用）を抽出し、正解データと比較することで生成される。

実験結果

リサーチクエスチョン

• RQ1 顔認識は、非常に長期（月単位）の監視動画において、マルチパーソントラッカーの再初期化に効果的に利用可能か？
• RQ2 顔認識が利用できないフレームにおいて、アイデンティティ情報はどのように信頼性高く伝搬可能か？
• RQ3 外見的および空間時間的配置に基づく多様体学習は、長期トラッキング性能をどの程度向上させるか？
• RQ4 トラッキング出力は、現実世界の監視データに対して意味のある、個別に特化した動画要約（視覚的日記）を生成するために利用可能か？
• RQ5 スニペット生成およびタイミング推定の観点から、トラッキング精度と動画要約の品質の相関関係はどの程度か？

主な発見

• 4,935時間、15台のカメラで構成される屋内監視データセット上で、本トラッカーは53.2%のフレームで個々の人物を正しく局所化し、69.8%の精度を達成した。
• 顔認識精度が20%向上したことで、トラッキングのF1スコアは約10%向上した。これは、顔認識がトラッキング性能に極めて重要な役割を果たしていることを示している。
• 視覚的日記生成では、スニペット生成のマイクロ精度が38.2%、マイクロ再現率が52.2%を達成し、重要な活動を適切に捉えていることが示された。
• 部屋および状態のタイミング推定では、精度が80.9%、再現率が51.1%を示し、位置および姿勢の追跡において中程度の精度を示した。
• 相互作用タイミング推定は最も低い性能（F1スコア31.1%）を示し、主に相互作用に参加する両方の人物のトラッキング障害が原因であった。
• 2次多項式フィットにより、トラッキングF1スコアとスニペット生成F1スコアの間には強い正の相関関係が確認され、トラッキング品質が要約品質に直接影響していることが裏付けられた。