[論文レビュー] Learning to Divide and Conquer for Online Multi-Target Tracking

Francesco Solera, Simone Calderara+1 more|arXiv (Cornell University)|Sep 14, 2015

Video Surveillance and Tracking Methods参考文献 1被引用数 14

ひとこと要約

本論文は、相関クラスタリングを用いてトラッキングを動的に局所的サブ問題に分割し、拡張されたハンガリアン・アルゴリズムにより、シーンの複雑さに応じてシンプルな特徴または複雑な特徴を選択的に適用するオンラインマルチターゲットトラッキング手法を提案する。フレームワークは、潜在的構造SVMを用いてエンド・ツー・エンドに学習され、シーンの複雑さに基づいて特徴の使用を知的にバランスさせることで、公開ベンチマーク上、最先端のオンライントラッカーに対してMOTAで10%の向上を達成した。

ABSTRACT

Online Multiple Target Tracking (MTT) is often addressed within the tracking-by-detection paradigm. Detections are previously extracted independently in each frame and then objects trajectories are built by maximizing specifically designed coherence functions. Nevertheless, ambiguities arise in presence of occlusions or detection errors. In this paper we claim that the ambiguities in tracking could be solved by a selective use of the features, by working with more reliable features if possible and exploiting a deeper representation of the target only if necessary. To this end, we propose an online divide and conquer tracker for static camera scenes, which partitions the assignment problem in local subproblems and solves them by selectively choosing and combining the best features. The complete framework is cast as a structural learning task that unifies these phases and learns tracker parameters from examples. Experiments on two different datasets highlights a significant improvement of tracking performances (MOTA +10%) over the state of the art.

研究の動機と目的

• 静的カメラのシーンにおける頻繁な隠蔽や検出誤りを伴うオンラインマルチターゲットトラッキングの課題に対処すること。
• 可能な限り信頼性の高い空間的特徴を効果的に使用し、必要に応じてのみ複雑な外観または運動特徴を残すことで、トラッキングの曖昧さを低減すること。
• 作業分担と特徴選択を統合した、1つの学習可能な構造的予測フレームワークに統一すること。
• オフライン最適化や複雑なターゲットモデルに依存せずに、オンライントラッキングのロバスト性と正確性を向上させること。
• 空間的ヒントを最初に活用し、必要に応じてのみ深層表現を用いることで、人間の知覚に類似した処理をモデル化すること。

提案手法

• トラッカーは、空間的および運動的整合性に基づいて、グローバルなアサインメント問題を局所的サブ問題に分割するため、相関クラスタリングを用いる。
• ハンガリアン・アルゴリズムへの新規な拡張により、コスト関数としてシンプル（空間的）および複雑（外観／運動）な特徴を組み合わせることで、動的特徴選択が可能になる。
• フレームワークは、潜在的構造SVM（LSSVM）を用いて学習され、クラスタリングの類似度測定とアサインメントの最適な特徴組み合わせを同時に最適化する。
• この手法は、シーンの複雑さ（ごみや隠蔽の程度など）に応じて、シンプルさと複雑さのバランスを取ったアサインメントを学習する。
• トラッカーはフレーム単位で動作し、リアルタイム性能を維持しながら、ラベル付き例から学習してパラメータを最適化する。
• このアプローチは、二系統仮説にインspiredされ、空間的（頂小脳）処理と外観／運動（時間的）処理のパスウェイを分離している。

実験結果

リサーチクエスチョン

• RQ1 局所的なシーンの複雑さに基づいて動的に特徴を選択することで、オンラインマルチターゲットトラッキングの性能を向上させることができるか？
• RQ2 アサインメント問題を、曇りの少ない局所的サブ問題に効果的に分解できるか？
• RQ3 より良いトラッキング精度を実現するために、サブ問題の分割と特徴選択を統合的に最適化する学習フレームワークを構築できるか？
• RQ4 シンプルな空間的ヒントを優先し、必要に応じてのみ複雑な特徴を残すことで、より高いロバスト性と誤差伝搬の低減が達成できるか？
• RQ5 潜在的構造SVMのような構造的学習アプローチは、多様なトラッキングシナリオに一般化できるようにトラッカーを効果的に学習できるか？

主な発見

• 提案されたトラッカーは、公開ベンチマーク上、最先端の手法に対してMOTAで10%の向上を達成し、MOT Challengeデータセットでは平均MOTAが43.1%を記録した。
• MCDデータセットのPETS09-S2-L2シーケンスでは、47.4%のMOTAを達成し、次に良い手法（44.9%）を2.5ポイント上回った。
• アブレーションスタディの結果、シンプルな特徴のみを用いるとMOTAは35.7%にとどまるが、すべての特徴を用いると性能は41.3%に低下し、特徴選択の重要性が示された。
• 本手法は、IDスイッチ（IDS）と誤検出（FP）を顕著に低減し、PETS09-S2-L2では297のIDSを記録したのに対し、ベースライン（すべての特徴を用いる）では411にのぼった。
• 混雑したシーンでも高い性能を維持し、630人の歩行者を含むGVEIIシーケンスでは65.6%のMOTAを達成し、精度とロバスト性の両面で競合手法を上回った。
• フレームワークは、シーンの複雑さに基づいて特徴を適切に選択することで、固定された特徴スキームに比べてより良い一般化性能と誤差伝搬の低減が達成されることを示した。