[論文レビュー] Multiple object tracking with context awareness

Laura Leal-Taixé|arXiv (Cornell University)|Nov 24, 2014

Video Surveillance and Tracking Methods参考文献 9被引用数 6

ひとこと要約

本学位論文では、線形計画法を用いたグローバル最適化により、社会的および空間的文脈を統合することで、モノクローラル歩行者トラッキングの精度を向上させる文脈に配慮した複数対象追跡フレームワークを提案する。2次元-3次元再構成と時間的トラッキングを統合的にモデル化し、グループ行動およびマルチビュー空間制約を組み込むことで、特に混雑で遮蔽が頻発する状況において顕著な精度向上を達成する。

ABSTRACT

Multiple people tracking is a key problem for many applications such as surveillance, animation or car navigation, and a key input for tasks such as activity recognition. In crowded environments occlusions and false detections are common, and although there have been substantial advances in recent years, tracking is still a challenging task. Tracking is typically divided into two steps: detection, i.e., locating the pedestrians in the image, and data association, i.e., linking detections across frames to form complete trajectories. For the data association task, approaches typically aim at developing new, more complex formulations, which in turn put the focus on the optimization techniques required to solve them. However, they still utilize very basic information such as distance between detections. In this thesis, I focus on the data association task and argue that there is contextual information that has not been fully exploited yet in the tracking community, mainly social context and spatial context coming from different views.

研究の動機と目的

• 頻繁な遮蔽や誤検出が生じる混雑な環境における歩行者トラッキングの課題に対処すること。
• 距離などの基本的な幾何的特徴に依存する従来のデータ関連手法の限界を克服すること。
• 未利用に近い文脈的情報（社会的グループ行動およびマルチビューからの空間的文脈）を活用してトラッキング精度を向上させること。
• トラッキングと3次元再構成を同時に解く統一的なグローバル最適化フレームワークを開発すること。
• 文脈に配慮したモデリングが、特に複雑で密集した状況においてより強固で正確なトラッキングを実現することを実証すること。

提案手法

• 全フレームにわたる全歩行者トラジェクトリを同時に決定するための線形計画法に基づくグローバル最適化フレームワークを採用する。
• トラッキングの堅牢性を向上させるために、社会的およびグループ行動をデータ関連プロセスに統合する新規定式を導入する。
• 2次元-3次元の割り当てと時間的トラッキングの問題を統合的に定式化し、1つの線形計画法による定式化で再構成とトラッキングを同時に最適化可能にする。
• マルチビュー空間的文脈を活用して3次元再構成の精度を向上させ、その結果として2次元トラッキング性能の向上を実現する。
• 欠損検出、外れ値、複数対象トラッキングにおける粒子の進入・退出に対応するため、ハンガリアン法をマルチレベル版に拡張する。
• 隠れマルコフモデル（HMMs）を用いて運動パターンをモデリングし、意味のある運動パターンに分類することで、文脈に配慮したトラッキングを支援する。

実験結果

リサーチクエスチョン

• RQ1 社会的およびグループ行動を効果的にモデリングし、グローバル最適化フレームワークに統合することで、モノクローラル歩行者トラッキングの精度向上が可能か？
• RQ2 2次元-3次元再構成と時間的トラッキングを1つの最適化定式化で統合することで、トラッキング精度にどのような影響を与えるか？
• RQ3 複数ビューからの空間的文脈が、混雑な環境におけるトラッキング性能にどの程度向上効果をもたらすか？
• RQ4 文脈に配慮したモデリングにより、遮蔽や誤検出に起因するトラッキング誤差を低減できるか？
• RQ5 距離メトリクスにのみ依存する従来のデータ関連手法と比較して、文脈的情報の統合はどの程度優れているか？

主な発見

• 社会的およびグループ行動をトラッキングフレームワークに統合することで、特に高密度な状況において顕著な精度向上が達成された。
• 2次元-3次元再構成とトラッキングの統合的最適化は、逐次的または独立した処理と比較して、顕著な精度向上をもたらした。
• 本手法は空間的および社会的事前知識を活用することで、遮蔽や誤検出に起因するトラッキング誤差を低減した。
• 本手法は高い検出再現率を達成し、トラッキングされたシーケンスにおいてラベル付けされた粒子の75%から90%を回復した。
• HMMを用いた運動パターン分類では、全シーケンスにおいて83.5%から100%の分類率を達成し、パターン遷移に対して高い耐性を示した。
• 徐々に変化する遷移期（例：方向転換から回転運動への移行）であっても、手動でアノテートされた境界内において、遷移期間を正確に検出できた。