[論文レビュー] Near-Online Multi-target Tracking with Aggregated Local Flow Descriptor

Wongun Choi|arXiv (Cornell University)|Apr 9, 2015

Video Surveillance and Tracking Methods参考文献 22被引用数 24

ひとこと要約

本稿では、検出間の相対的運動パターンを集約された特徴点軌跡を介してモデル化することにより、データ関連付けを向上させる、新規の集約局所フロー記述子（ALFD）を用いたニア・オンライン・マルチターゲットトラッキング（NOMT）フレームワークを提案する。ALFDは、遠く離れたフレーム間でも頑健な類似度測定を可能にし、KITTIおよびMOTベンチマークにおいて、先行手法と比較して10%以上高いSOTAのMOTAスコアを達成している。また、リアルタイム（約10 FPS）で動作する。

ABSTRACT

In this paper, we focus on the two key aspects of multiple target tracking problem: 1) designing an accurate affinity measure to associate detections and 2) implementing an efficient and accurate (near) online multiple target tracking algorithm. As the first contribution, we introduce a novel Aggregated Local Flow Descriptor (ALFD) that encodes the relative motion pattern between a pair of temporally distant detections using long term interest point trajectories (IPTs). Leveraging on the IPTs, the ALFD provides a robust affinity measure for estimating the likelihood of matching detections regardless of the application scenarios. As another contribution, we present a Near-Online Multi-target Tracking (NOMT) algorithm. The tracking problem is formulated as a data-association between targets and detections in a temporal window, that is performed repeatedly at every frame. While being efficient, NOMT achieves robustness via integrating multiple cues including ALFD metric, target dynamics, appearance similarity, and long term trajectory regularization into the model. Our ablative analysis verifies the superiority of the ALFD metric over the other conventional affinity metrics. We run a comprehensive experimental evaluation on two challenging tracking datasets, KITTI and MOT datasets. The NOMT method combined with ALFD metric achieves the best accuracy in both datasets with significant margins (about 10% higher MOTA) over the state-of-the-arts.

研究の動機と目的

• 混雑したまたは複雑なシーンにおいて、従来の指標が失敗する状況での、マルチターゲットトラッキングにおける正確なデータ関連付けの課題に対処すること。
• 運動の曖昧性や隠蔽がある状況でも、長時間にわたる時間的ギャップを越えて検出を信頼性高く結びつける、頑健で汎用的な類似度測定を構築すること。
• グローバル最適化の利点とオンライン因果関係を組み合わせた、効率的かつ正確なトラッキングシステムを設計し、リアルタイムでのデプロイを可能にすること。
• 外観、運動、および長期間の軌跡正則化といった複数の手がかりを統合した、一貫性のあるデータ関連付けフレームワークを構築し、トラッキングの安定性を向上させること。
• 時間窓内での将来の観測を活用して、トラッキング関連の誤りを是正することにより、IDの一貫性を向上させること。

提案手法

• 2つの検出間の相対的運動を、フレーム間を跨ぐ長期間の特徴点軌跡（IPT）を集約することで符号化する、集約局所フロー記述子（ALFD）を提案する。
• IPTを用いることで、個々の軌跡がノイズや不正確であっても、検出ボックス間の一貫性のある運動パターンを捉えることができる。
• NOMTアルゴリズムを、サイズτのスライディング時間窓内でのグローバルデータ関連付け問題として定式化し、各フレームで解くことで因果関係を維持するとともに、誤り訂正を可能にする。
• ALFDを外観類似度（色ヒストグラム）、ターゲットダイナミクス、および長期間の軌跡正則化と統合し、条件付きランダムフィールド（CRF）推論フレームワーク内で処理する。
• ALFD駆動の仮説に基づき候補トラッケットを生成し、CRF推論によるグローバル関連付け最適化により、不一致や断片化を最小限に抑える。
• マルチコアCPUを用いた並列計算により、リアルタイム性能（約10 FPS）を達成し、光学フロー計算が主な計算ボトルネックとなっている。

実験結果

リサーチクエスチョン

• RQ1 長期間の軌跡パターンを活用する運動ベースの類似度測定が、従来の空間的および外観ベースの測定を上回るのか？
• RQ2 スライディング時間窓を用いたニア・オンライントラッキングフレームワークは、リアルタイム性能を維持しつつ、過去の関連付け誤りをどの程度是正できるのか？
• RQ3 外観、運動、および長期間の軌跡を統合することで、複雑な状況下でのトラッキングの頑健性と正確性はどの程度向上するのか？
• RQ4 提案されたALFD記述子は、隠蔽、高速なカメラモーション、または外観が類似したターゲットを含む多様なトラッキングシナリオに一般化可能か？
• RQ5 ニア・オンライントラッキングシステムにおいて、正確性と遅延のトレードオフはどのようなものか？また、トラッキング品質を損なわずにリアルタイム性能を達成できるか？

主な発見

• アブレーションスタディにより、従来の類似度測定（ボクセルオーバーラップや外観類似度）に比べ、ALFD測定が顕著に優れていることが実証された。
• KITTIデータセットでは、ALFDを搭載したNOMTが、SOTA手法と比較して約10%高いMOTAスコアを達成し、自動運転シナリオでの強力な性能を示した。
• MOTチャレンジベンチマークでは、NOMTが最高のMOTAを記録し、既存手法と比較して14%以上の差をつけていた。また、IDスイッチや断片化も最小限に抑えられた。
• 2.5GHzの16コアCPU上で、約10 FPSのリアルタイム性能を達成しており、IPTの光学フロー計算が主な計算ボトルネックである。
• 遅延解析の結果、KITTIでは84.7%の検出が0.59秒以内に関連付けられ、MOTでは77.6%が同様の時間内に処理された。これにより、アルゴリズムのニア・オンライン性が裏付けられた。
• 定性的な結果から、NOMTは隠蔽や高速なカメラモーション下でも、安定したIDを維持する一貫性のある長期間の軌跡を生成することが確認された。