[論文レビュー] MOTRv3: Release-Fetch Supervision for End-to-End Multi-Object Tracking

En Yu, Tiancai Wang+4 more|arXiv (Cornell University)|May 23, 2023

Video Surveillance and Tracking Methods被引用数 6

ひとこと要約

MOTRv3は、エンドツーエンドのマルチオブジェクトトラッキングにおける検出とアソシエーションの最適化的矛盾を解消するため、新規のリリース・フェッチ監視（RFS）戦略を導入した。これにより、外部検出器を用いずに検出の監視を強化できる。検出クエリに初期段階でラベルをリリースし、徐々にそれらをアソシエーション用にフェッチすることで、疑似ラベル蒸留とトラックグループノイズ除去を組み合わせ、MOT17およびDanceTrackベンチマークで最先端の性能を達成しながら、完全なエンドツーエンド学習を維持した。

ABSTRACT

Although end-to-end multi-object trackers like MOTR enjoy the merits of simplicity, they suffer from the conflict between detection and association seriously, resulting in unsatisfactory convergence dynamics. While MOTRv2 partly addresses this problem, it demands an additional detection network for assistance. In this work, we serve as the first to reveal that this conflict arises from the unfair label assignment between detect queries and track queries during training, where these detect queries recognize targets and track queries associate them. Based on this observation, we propose MOTRv3, which balances the label assignment process using the developed release-fetch supervision strategy. In this strategy, labels are first released for detection and gradually fetched back for association. Besides, another two strategies named pseudo label distillation and track group denoising are designed to further improve the supervision for detection and association. Without the assistance of an extra detection network during inference, MOTRv3 achieves impressive performance across diverse benchmarks, e.g., MOT17, DanceTrack.

研究の動機と目的

• エンドツーエンドのMOTフレームワーク（例：MOTR）における検出性能の低さの根本的原因を特定すること。
• 収束を妨げる検出とアソシエーションの間の最適化的矛盾を解消すること。
• 推論時に外部オブジェクト検出器に依存せずに、検出およびアソシエーションの両方の監視を向上させること。
• エンドツーエンド学習を維持しつつ、ベンチマーク全体でトラッキング精度を著しく向上させること。

提案手法

• リリース・フェッチ監視（RFS）を提案。ボックスラベルを最初のデコーダー層で検出クエリにリリースし、後続の層でトラッククエリのアソシエーションにフェッチする。
• 疑似ラベル蒸留（PLD）を導入。事前に訓練された検出器（例：YOLOX や Sparse R-CNN）を用いて、検出クエリの多様な補助監視を生成する。
• トラックグループノイズ除去（TGD）を設計。トラッククエリをグループ化し、トレーニング中にリファレンスポイントにランダムなノイズを注入することで、アソシエーション学習の安定性を向上させる。
• MOTRの元のエンドツーエンドのTransformerアーキテクチャを維持しつつ、検出ヘッドとアソシエーションヘッドの両方にバランスの取れた監視を実現するためのラベル割り当てダイナミクスを変更する。
• RFSを最初の5つのデコーダー層に適用し、最終デコーダーでのみ標準的な1対1マッチングを保持する。
• RFS、PLD、TGDを統合した一貫したトレーニングパイプラインを構築し、検出精度とアソシエーションのロバスト性の両方を向上させる。

実験結果

リサーチクエスチョン

• RQ1 エレガントなアーキテクチャを有するエンドツーエンドのMOT（例：MOTR）が、なぜ検出性能が低いのか？
• RQ2 検出クエリとトラッククエリの間で不平等なラベル割り当てが、MOTにおける最適化的矛盾を引き起こすメカニズムは何か？
• RQ3 外部検出器を導入せず、エンドツーエンド学習を破壊せずに、検出の監視を再構築できるか？
• RQ4 疑似ラベルによる補助監視とトラッククエリへのノイズ注入が、どの程度トラッキング性能を向上させられるか？
• RQ5 非エンドツーエンドベースラインと比較して、バックボーンアーキテクチャの変更に伴うスケーリング特性はいかがなっているか？

主な発見

• MOTRにおける検出性能の低下の主な原因は、不平等なラベル割り当てである。具体的には、最初のフレームのグランドトゥルース（フリーGT）のみが検出クエリの学習に使われ、以降のフレームのラベルはトラッククエリにロックされている。
• RFSにより、初期デコーダー層で全アノテートボックスを検出クエリに利用可能にすることで、検出性能が顕著に向上し、収束性が向上した。
• MOT17のテストセットにおいて、MOTRv3は72.1%のHOTAを達成し、MOTRv2を上回り、外部検出器を用いないエンドツーエンドMOTの最先端性能を樹立した。
• 1グループあたり4クエリのトラックグループノイズ除去（TGD）にノイズを注入することで、アソシエーションの安定性が向上し、DanceTrackではHOTAが最大1.2ポイント向上した。
• モデルスケーリングの実験から、MOTRv3は大型バックボーン（例：ConvNeXt-Base）の恩恵を一貫して受ける一方、MOTRv2は非エンドツーエンド性のため、バックボーンが大きくなると性能が低下した。
• 疑似ラベル蒸留（PLD）は効果的な補助監視を提供し、スパースラベルへの過学習を低減するとともに、検出の一般化性能を向上させた。