[論文レビュー] Looking Beyond Two Frames: End-to-End Multi-Object Tracking Using Spatial and Temporal Transformers

Tianyu Zhu, M. Hiller+5 more|arXiv (Cornell University)|Mar 27, 2021

Video Surveillance and Tracking Methods参考文献 66被引用数 5

ひとこと要約

MO3TR は、空間的および時間的 Transformer を用いて物体間の相互作用と長期間の運動履歴を統合的にモデル化する、エンド・ツー・エンドのマルチオブジェクト追跡フレームワークである。これにより、明示的なデータアソシエーションやヒューリスティクスを必要とせず、遮蔽下でも追跡が安定し、トラックの開始・終了が可能となる。長距離時間的アテンションと空間的特徴符号化を活用することで、MOT16、MOT17、MOT20 ベンチマークで最先端の性能を達成した。

ABSTRACT

Tracking a time-varying indefinite number of objects in a video sequence over time remains a challenge despite recent advances in the field. Most existing approaches are not able to properly handle multi-object tracking challenges such as occlusion, in part because they ignore long-term temporal information. To address these shortcomings, we present MO3TR: a truly end-to-end Transformer-based online multi-object tracking (MOT) framework that learns to handle occlusions, track initiation and termination without the need for an explicit data association module or any heuristics. MO3TR encodes object interactions into long-term temporal embeddings using a combination of spatial and temporal Transformers, and recursively uses the information jointly with the input data to estimate the states of all tracked objects over time. The spatial attention mechanism enables our framework to learn implicit representations between all the objects and the objects to the measurements, while the temporal attention mechanism focuses on specific parts of past information, allowing our approach to resolve occlusions over multiple frames. Our experiments demonstrate the potential of this new approach, achieving results on par with or better than the current state-of-the-art on multiple MOT metrics for several popular multi-object tracking benchmarks.

研究の動機と目的

• ヒューリスティクスに基づくデータアソシエーション、トラック管理、2フレーム仮定に依存する従来のマルチオブジェクト追跡（MOT）手法の限界を解消すること。
• 拡張された時間的履歴から学習することで、長期間の遮蔽対処、トラックの開始・終了の課題を克服すること。
• 検出モジュールやアソシエーションモジュールを別々に持たない、真のエンド・ツー・エンドのフレームワークを構築すること。
• 多様なトラック履歴長と、レアケース（トラックの開始・終了など）の拡張例を用いた学習により、一般化性能とロバストネスを向上させること。

提案手法

• 検出されたオブジェクトと視覚的測定値間の相互作用を符号化するための空間的 Transformer を採用し、シーン全体の暗黙的表現を学習する。
• 各オブジェクトの過去の埋め込みをすべてにわたってアテンションする時間的 Transformer を導入し、2フレームを超える長距離時間的モデリングを可能にする。
• オブジェクトから時間的アテンションを用いて、履歴的文脈を再帰的に精緻化することで、オブジェクトの埋め込みを改善し、遮蔽と終了を区別できるようにする。
• 過学習を防ぎ、一般化性能を向上させるために、ランダムに変化するトラック履歴長で学習を行う。
• トラックの開始・終了の学習を向上させるために、偽陰性（FN）および偽陽性（FP）の拡張戦略を適用する。
• 学習中にトラック履歴を右寄せすることで、学習の安定化と偽陽性の低減を図る。

Figure 1: Looking beyond two frames with MO3TR: Temporal and spatial Transformers jointly pay attention to the current image $I_{t}$ and the entire embedding history of the two tracked objects ( red and green , left). Detection of a previously untracked object ( blue ) causes initiation of new track

実験結果

リサーチクエスチョン

• RQ1 完全にエンド・ツー・エンドの Transformer ベースのフレームワークは、オンラインマルチオブジェクト追跡において、ヒューリスティクスに基づくデータアソシエーションやトラック管理の必要性を排除できるか？
• RQ2 2フレームを超える長期間の時間的情報を組み込むことで、遮蔽、トラックの開始・終了における性能がどのように向上するか？
• RQ3 アテンションメカニズムは、一時的な遮蔽と実際のトラック終了をどの程度正確に区別できるか？
• RQ4 変動する履歴長や FP/FN 拡張といった学習戦略が、モデルのロバストネスと一般化性能に与える影響はどの程度か？
• RQ5 統一的で状態ベースの追跡アプローチは、標準ベンチマークにおいて、従来の検出ベースの追跡パイプラインを上回ることができるか？

主な発見

• MO3TR は、MOT16、MOT17、MOT20 ベンチマークで最先端の性能を達成し、すべてのデータセットで MOTA および IDF1 の一貫した向上を示した。
• 2フレームを超える長期間の時間的履歴は、追跡性能を顕著に向上させ、偽陽性を低減し、MOTA および IDF1 を向上させた。
• 訓練時に偽陽性拡張を適用することで、偽陽性が顕著に減少し、トラック終了の学習がより効果的になった。
• 時間的アテンションの可視化から、モデルが関連する過去のフレーム（遠く離れたものも含む）に注目し、欠落した埋め込み（存在しない状態）をアテンションメカニズムの一部として扱えることがわかった。
• 長距離時間的モデリングにより、遮蔽と終了の区別が向上し、長期間の遮蔽が続く困難なシーケンスでも性能が向上した。
• 変動するトラック履歴長での学習により、過学習が抑制され、特に不規則な物体の出現・消滅が見られる状況でも一般化性能が向上した。

Figure 2: Overview of our MO3TR framework. Starting from the left, the temporal Transformer uses the entire embedding-based track history $\mathbb{T}_{t-1}$ to predict representative object encodings $\hat{\mathcal{Z}}_{t}$ for the current, yet unobserved, time step $t$ . The spatial Transformer the