[論文レビュー] Who did What at Where and When: Simultaneous Multi-Person Tracking and Activity Recognition

Wenbo Li, Ming‐Ching Chang+1 more|arXiv (Cornell University)|Jul 3, 2018

Human Pose and Action Recognition参考文献 23被引用数 9

ひとこと要約

本稿では、人物間の高次相関、対比較的相互作用、集団的行動をハイパーグラフに基づくモデリングを用いて、マルチペルソントラッキングとアクティビティ認識を共同最適化するブートストラappingフレームワークを提案する。マルチステージのベイジアンフレームワークにおいて、アクティビティに配慮したトラッキング、相互作用認識によるオクルージョン回復、集団的アクティビティ推論を統合することで、トラッキング（MOTA最高85.3％）およびアクティビティ認識（正確度約90％）の両面で最先端の性能を達成し、重度のオクルージョンにも強く、リアルタイム処理（約20 FPS）が可能である。

ABSTRACT

We present a bootstrapping framework to simultaneously improve multi-person tracking and activity recognition at individual, interaction and social group activity levels. The inference consists of identifying trajectories of all pedestrian actors, individual activities, pairwise interactions, and collective activities, given the observed pedestrian detections. Our method uses a graphical model to represent and solve the joint tracking and recognition problems via multi-stages: (1) activity-aware tracking, (2) joint interaction recognition and occlusion recovery, and (3) collective activity recognition. We solve the where and when problem with visual tracking, as well as the who and what problem with recognition. High-order correlations among the visible and occluded individuals, pairwise interactions, groups, and activities are then solved using a hypergraph formulation within the Bayesian framework. Experiments on several benchmarks show the advantages of our approach over state-of-art methods.

研究の動機と目的

• 複雑な社会的ダイナミクスやグループ相互作用をモデル化できない既存のトラッキング・バイ・ディテクション手法の限界を解消する。
• トラッキングと認識を共同最適化することで、「誰が」「何を」「どこで」「いつ」行動しているかを同時に解消する。
• 認識されたアクティビティと相互作用からの高次相関を活用することで、オクルージョン下でのトラッキングのロバスト性を向上させる。
• カメラキャリブレーションを不要とし、オンライン動画処理をサポートする汎用的でリアルタイムなフレームワークを開発する。
• ペアワイズ相互作用と一貫性のあるグループ行動に依存する構造的依存関係をモデル化することで、集団的アクティビティ（例：グループの横断）の正確な認識を可能にする。

提案手法

• アクティビティに配慮したトラッキング、共同相互作用認識とオクルージョン回復、集団的アクティビティ認識の3段階推論を含む動的グラフィカルモデルを用いて、共同トラッキングと認識問題を定式化する。
• ベイジアンフレームワーク内でのハイパーグラフ定式化を用いて、可視およびオクルージョン状態の人物、ペアワイズ相互作用、グループ行動の間の高次相関をモデル化する。
• 2種類の異なるハイパーグラフを用いる：$\mathcal{H}_{\mathcal{T}}$ はトラッケットの関連付けを改善するための個人アクティビティ間の相関をモデル化し、$\mathcal{H}_{\mathcal{R}}$ はオクルージョン回復のための相互作用に基づく相関をモデル化する。
• ハイパーグラフにおける凝集クラスタ探索を適用して最適化問題を効率的に解き、一貫性のある軌道とアクティビティラベルを推論する。
• 身体の向きの検出などの補助入力を組み込んで、認識とトラッキングの正確性を向上させる。
• 改善されたトラッキングと認識結果を反復的に事前分布として用い、お互いを精緻化するブートストラップメカニズムを実装する。

実験結果

リサーチクエスチョン

• RQ1 個人アクティビティ、ペアワイズ相互作用、集団的行動の間の高次相関を効果的にモデル化することで、トラッキングと認識の両方の性能向上が可能か？
• RQ2 トラッキングとアクティビティ認識の共同最適化は、逐次的または独立的アプローチに比べて、オクルージョンや曖昧な行動の処理においてどのように優れているか？
• RQ3 ハイパーグラフ定式化は、通常のグラフモデルに比べて、複雑な社会的ダイナミクスを捉える上で、どれほど認識とトラッキング性能の向上に寄与するか？
• RQ4 提案フレームワークは、カメラキャリブレーションやオフライン処理を必要とせず、リアルタイム性能を達成できるか？
• RQ5 $\mathcal{H}_{\mathcal{T}}$ と $\mathcal{H}_{\mathcal{R}}$ ハイパーグラフの貢献は、それぞれトラッキングのロバスト性と認識正確性の向上においてどのように異なるか？

主な発見

• 提案手法は、個人アクティビティで約90％の認識正確度を達成し、集団的アクティビティ認識においても最先端の手法を顕著に上回る。
• CADデータセットでは、最高のMOTAスコア（85.3％）を記録し、断片化（FM）、IDスイッチ（IDs）、リコール（Rcll）といった主要なトラッキング指標において、すべてのベースラインを上回った。
• $\mathcal{H}_{\mathcal{R}}$ ハイパーグラフによる相互作用モデリングの導入が、$\mathcal{H}_{\mathcal{T}}$ よりも顕著に性能向上に寄与しており、特にオクルージョン回復において顕著である。
• ハイパーグラフを通常のグラフに置き換えると、トラッキングおよび認識性能に顕著な低下が生じ、高次相関モデリングの必要性が裏付けられた。
• 重度のオクルージョン下でもIDスイッチの数が最も少なく、視覚的にもトラッキング結果の比較（図7）で確認された。これにより、優れたロバスト性が示された。
• フレームワークはリアルタイムで約20 FPSで動作し、オンライン動画監視や状況認識アプリケーションへの導入が可能である。