[論文レビュー] Simple Cues Lead to a Strong Multi-Object Tracker

Jenny Seidenschwarz, Guillem Brasó+3 more|arXiv (Cornell University)|Jun 9, 2022

Video Surveillance and Tracking Methods被引用数 6

ひとこと要約

この論文では、再識別（reID）モデルと線形運動モデルを組み合わせることで、MOT17、MOT20、BDD100k、DanceTrackの4つの多様なデータセットで最先端の性能を達成する、シンプルだが強力な検出に基づくトラッキング手法GHOSTを提案する。トラッキング固有の学習データを一切使用せず、走る間にドメイン適応を実施し、アクティブ／非アクティブなトラックを別々に処理することで、優れた性能を発揮する。

ABSTRACT

For a long time, the most common paradigm in Multi-Object Tracking was tracking-by-detection (TbD), where objects are first detected and then associated over video frames. For association, most models resourced to motion and appearance cues, e.g., re-identification networks. Recent approaches based on attention propose to learn the cues in a data-driven manner, showing impressive results. In this paper, we ask ourselves whether simple good old TbD methods are also capable of achieving the performance of end-to-end models. To this end, we propose two key ingredients that allow a standard re-identification network to excel at appearance-based tracking. We extensively analyse its failure cases, and show that a combination of our appearance features with a simple motion model leads to strong tracking results. Our tracker generalizes to four public datasets, namely MOT17, MOT20, BDD100k, and DanceTrack, achieving state-of-the-art performance. https://github.com/dvl-tum/GHOST.

研究の動機と目的

• 従来の検出に基づくトラッキング手法に手作業で設計された特徴を適用した場合、エンドツーエンドのアテンションベースのモデルを上回る性能を発揮できるかを調査すること。
• 特に長期的遮蔽や画像統計の変化が生じる状況下で、標準的なreIDモデルがMOTに適用された際の主な設計上の欠陥を特定すること。
• データセット固有のチューニングやトラッキングデータの学習を一切行わず、多様なデータセットで良好な性能を発揮する汎用トラッカーを開発すること。
• ドメイン固有の知識と適切な特徴統合が、複雑でデータ集約的なモデルを上回ることを示すこと。

提案手法

• 変動する視覚的条件や時間的スパンにわたってreID特徴を整合させるため、走る間にドメイン適応を導入する。
• アクティブなトラックと非アクティブなトラックに対して異なる関連付けポリシーを適用することで、長期的なトラッキングの安定性を向上させる。
• 外観と運動の特徴を重み付き和で統合し、データセット固有のニーズに応じて重みを動的に調整する。
• 運動の一貫性を確保するため、速度推定とカルマンフィルタに類似した更新を伴う線形運動モデルを採用する。
• 外観距離と運動距離の複合コスト行列を用いて、検出とトラックの間で標準的なハンガリアン法による二部マッチングを実施する。
• モデルアーキテクチャやシーケンスごとに変更せず、データセットごとにのみハイパーパrameter（しきい値、運動の重み、トラック履歴長）を調整する。

Figure 1 : IDF1/Rank-1 of different state-of-the-art re-ID approaches. R50-TR [ 82 ] , BOT [ 37 ] , BDB [ 16 ] , ABD [ 12 ] . Basic is our baseline, Ours is our appearance model.

実験結果

リサーチクエスチョン

• RQ1 手作業で設計された外観および運動特徴を用いたシンプルな検出に基づくトラッキングパイプラインは、トラッキングデータの学習を一切行わずして最先端の性能を達成できるか？
• RQ2 SOTAのreIDモデルはreIDベンチマークで優れた性能を示すが、なぜMOTでは失敗するのか？
• RQ3 どのようなトラッキングシナリオで外観特徴のみでは不十分となり、運動モデリングが必要となるのか？
• RQ4 ドメイン適応とトラック状態に応じた処理は、実世界のMOTシナリオにおけるreIDベースのトラッキングをどのように改善できるか？

主な発見

• GHOSTは、MOT17、MOT20、BDD100k、DanceTrackのいずれのデータセットに対しても、トラッキングデータの学習を一切行わずして最先端の性能を達成した。
• 提案された走る間にドメイン適応により、画像統計の変化や時間的ギャップにわたるreID特徴のロバスト性が顕著に向上した。
• アクティブ／非アクティブなトラックを別々に処理することで、トラックの断片化が減少し、長期的な関連付けの正確性が向上した。
• 外観と運動の特徴を適応的重みで統合したアプローチは、純粋な外観モデルや運動モデルを上回り、特に遮蔽や視認性の低い状況で顕著な性能向上を示した。
• GHOSTは、シンプルであるにもかかわらず、MOT17で私的検出を使用した場合に約6FPSの高速な推論速度を維持しており、SOTAトラッカーと同等の性能を発揮した。
• 可視化結果から、GHOSTは長時間の遮蔽（最大9.4秒）や視認性が低い状況（視認性スコア0.2）でも正しく歩行者を関連付けるのに対し、CenterTrackは失敗することが確認された。

(a) Appearance