[論文レビュー] Contrastive Learning for Multi-Object Tracking with Transformers

Pierre-François De Plaen, Nicola Marinello+3 more|arXiv (Cornell University)|Nov 14, 2023

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本論文では、インスタンスレベルの対照的学習を用いて DETR に類似したオブジェクト検出器をエンドツーエンドのトラッカーに変換する、軽量なマルチオブジェクトトラッキング手法 ContrasTR を提案する。対照的損失、見直されたフレームサンプリング、およびプロジェクションヘッドを導入することで、BDD100K で +2.6 mMOTA のSOTA性能を達成し、MOT17 でもSOTAと同等の結果を得るとともに、検出品質を維持し、複雑なアーキテクチャの拡張を回避する。

ABSTRACT

The DEtection TRansformer (DETR) opened new possibilities for object detection by modeling it as a translation task: converting image features into object-level representations. Previous works typically add expensive modules to DETR to perform Multi-Object Tracking (MOT), resulting in more complicated architectures. We instead show how DETR can be turned into a MOT model by employing an instance-level contrastive loss, a revised sampling strategy and a lightweight assignment method. Our training scheme learns object appearances while preserving detection capabilities and with little overhead. Its performance surpasses the previous state-of-the-art by +2.6 mMOTA on the challenging BDD100K dataset and is comparable to existing transformer-based methods on the MOT17 dataset.

研究の動機と目的

• 検出器のアーキテクチャを大幅に変更せずに、DETRに基づくオブジェクト検出器をマルチオブジェクトトラッキングモデルに効果的に適応するシンプルで効果的な手法を開発すること。
• 対照的学習を通じて判別的なインスタンスレベルの埋め込みを学習することで、フレーム間のオブジェクト再識別を向上させること。
• トラッキングアノテーションを必要とせず、検出のみのデータセットを用いてスケーラブルな事前学習を可能にし、トラッキング性能を向上させること。
• 統一されたオブジェクト表現のセットを介して、検出とトラッキングを統合的に実現することで、アーキテクチャの複雑さを低減すること。
• 非連続フレームの注意深いサンプリングが、動きや外観の変化に対して強い耐性を発揮することを示すこと。

提案手法

• 本手法は、同一オブジェクト（正例）と異なるオブジェクト（負例）のペアを区別できるように学習するインスタンスレベルの対照的損失を採用する。
• 見直されたサンプリング戦略により、複数の動画から非連続なフレームを選択し、トレーニングバッチにおける外観とシーンの多様性を向上させる。
• DETRのオブジェクト表現からトラッキング埋め込みを生成するための軽量なフィードフォワードネットワーク（FFN）プロジェクションヘッドを導入し、トラッキングと検出ヘッドを分離する。
• トラッキングIDを用いずに、検出データセット上で対照的学習を用いて事前学習することで、大規模な検出データを活用し、より質の高い埋め込み空間を実現する。
• 検出損失と対照的損失を組み合わせたマルチタスクの目的関数を用い、対照的項の重みを学習可能な係数で調整する。
• 推論時には、学習済みの埋め込みに基づいて予測をトラックに割り当てるための二部マッチングを用いる。

実験結果

リサーチクエスチョン

• RQ1 DETRに基づく検出器は、アーキテクチャの大幅な変更を加えずに、マルチオブジェクトトラッキングシステムに効果的に適応可能か？
• RQ2 インスタンスレベルの対照的学習は、複雑なトラッキングシナリオにおけるオブジェクト再識別をどのように向上させるか？
• RQ3 動き、遮蔽、外観の変化に対して耐性を高めるために、どのサンプリング戦略が最適か？
• RQ4 トラッキングアノテーションを必要とせず、検出のみのデータセットで事前学習することで、トラッキング性能を向上させられるか？
• RQ5 検出と関連付けの特徴を同時に学習するための重要な構成要素は何か？また、それらはどのように相互作用するか？

主な発見

• ContrasTR は、挑戦的な BDD100K データセットにおいて、前回のSOTAより +2.6 mMOTA の向上を達成し、35.1 mMOTA を達成した。
• MOT17 ベンチマークでは、既存のトランスフォーマー基盤の手法と同等の性能を示し、優れた一般化能力を示した。
• アブレーションスタディの結果、対照的損失、プロジェクションヘッド、および事前学習がすべて不可欠であることが判明した。いずれのコンponentsを削除しても、mHOTA が3ポイント以上低下した。
• 最良の性能は、4つの動画と10フレーム（Nv=4, Nf=10）の組み合わせで得られ、BDD100K で 36.2 mHOTA と 33.6 mMOTA を達成した。
• 対照的損失の重み λ_contr = 0.5 が最適な性能をもたらし、検出とトラッキングの目的関数のバランスを最適に保った。
• 検出データ上で対照的学習による事前学習は、トラッキングデータセットでの微調整時にもトラッキング指標の向上をもたらし、強力な転移性を示した。