[論文レビュー] MOTRv2: Bootstrapping End-to-End Multi-Object Tracking by Pretrained Object Detectors

Yuang Zhang, Tiancai Wang+1 more|arXiv (Cornell University)|Nov 17, 2022

Human Pose and Action Recognition被引用数 9

ひとこと要約

MOTRv2 は、事前学習済みのオブジェクト検出器 (YOLOX) を統合することで、エンドツーエンドのマルチオブジェクトトラッキングの検出性能を向上させる、シンプルでありながら効果的なフレームワークを提案する。検出器が出力する候補を MOTR のアンカークエリとして使用することで、検出と関連付けを分離し、精度を顕著に向上させる。DanceTrack では 73.4% HOTA、BDD100K では 43.6% mMOTA という SOTA 水準の性能を達成しながら、エンドツーエンド学習を維持する。

ABSTRACT

In this paper, we propose MOTRv2, a simple yet effective pipeline to bootstrap end-to-end multi-object tracking with a pretrained object detector. Existing end-to-end methods, MOTR and TrackFormer are inferior to their tracking-by-detection counterparts mainly due to their poor detection performance. We aim to improve MOTR by elegantly incorporating an extra object detector. We first adopt the anchor formulation of queries and then use an extra object detector to generate proposals as anchors, providing detection prior to MOTR. The simple modification greatly eases the conflict between joint learning detection and association tasks in MOTR. MOTRv2 keeps the query propogation feature and scales well on large-scale benchmarks. MOTRv2 ranks the 1st place (73.4% HOTA on DanceTrack) in the 1st Multiple People Tracking in Group Dance Challenge. Moreover, MOTRv2 reaches state-of-the-art performance on the BDD100K dataset. We hope this simple and effective pipeline can provide some new insights to the end-to-end MOT community. Code is available at \url{https://github.com/megvii-research/MOTRv2}.

研究の動機と目的

• MOTR などのエンドツーエンド MOT フレームワークにおける検出性能の低さが、全体のトラッキング精度を制限する問題を解決すること。
• 共有トランスフォーマー・デコーダーにおける検出と関連付けの学習の間に生じる本質的対立を克服すること。
• 事前学習済み検出器 (YOLOX) からの高品質なオブジェクト検出事前知識を活用し、エンドツーエンドトラッキングにおける検出の信頼性を向上させること。
• 完全な再トレーニングを必要とせず、外部からの監督を用いて検出を向上させながらも、エンドツーエンド学習を維持すること。
• 検出とトラッキングをモジュラーかつスケーラブルな方法で統合することで、今後のエンドツーエンド MOT 研究の強力でシンプルなベースラインを確立すること。

提案手法

• MOTR の検出クエリに内蔵された学習可能な位置埋め込みを、YOLOX が出力するオブジェクト候補から導出されたサイン・コサイン位置エンコーディングに置き換えることで、アンカーに基づくクエリ初期化を可能にする。
• YOLOX の候補をプロポーザルクエリとして使用し、検出クエリを初期化することで、強力な局所化事前知識を提供し、検出ヘッドの最適化を容易にする。
• トラッキングのためのクエリ伝搬メカニズムを MOTR と同一に維持することで、エンドツーエンドの微分可能で時間的整合性のある学習を確保する。
• トレーニング中にトラッククエリのアライメントを実施：Hungarian マッチングを用いて MOTR の予測と YOLOX の候補をマッチングさせ、トラッククエリのアンカーを YOLOX のボックスにアライメントすることで、局所化のずれを低減する。
• 一致しない MOTR の予測に対して予測の削除を実装することで、誤検出を低減し、検出と関連付けの精度を向上させる。
• 訓練の安定化と検出性能の向上を図るため、クエリのノイズ除去を導入し、DanceTrack のバリデーションセットで最適化されたノイズスケールを設定する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みオブジェクト検出器を統合することで、エンドツーエンドのマルチオブジェクトトラッキングにおける検出性能が顕著に向上するか？
• RQ2 検出器が出力する候補をクエリアンカーとして使用することで、検出と関連付けの学習の間に生じる対立が緩和されるか？
• RQ3 高品質な検出事前知識を用いてエンドツーエンド MOT モデルが SOTA 性能を達成できるか、エンドツーエンド学習を維持できるか？
• RQ4 トラッククエリのアライメントは、複雑なトラッキング環境における局所化誤差と誤検出の低減にどの程度効果的か？
• RQ5 クエリのノイズ除去は、MOTRv2 フレームワークにおける検出と関連付けの指標にどのような影響を与えるか？

主な発見

• DanceTrack データセットにおいて、MOTRv2 は 73.4% HOTA を達成し、以前の SOTA である OC-SORT よりも HOTA で 14.8 パーセンテージポイント、AssA で 18.8 パーセンテージポイントの向上を達成した。
• 大規模な BDD100K データセットでは、MOTRv2 は 43.6% mMOTA を達成し、以前の SOTA メソッドである Unicorn よりも 2.4% の向上を達成した。
• MOT17 では、MOTRv2 は完全なトラッククエリアライメントを適用した結果、MOTA 86.8%、IDF1 79.7% を達成し、ベースラインの MOTR や他のエンドツーエンド手法を大きく上回った。
• 特に YOLOX 候補にアンカーをアライメントするトラッククエリアライメントは、ベースラインの MOTR と比較して MOTA を 8.4%、IDF1 を 3.9% 向上させた。
• 一致しない MOTR の予測を削除することで、アンカーのアライメントと組み合わせて MOTA を 2.0% 向上させ、誤検出を低減した。
• クエリのノイズ除去により、DetA が 2.1% 向上し、HOTA が 0.8% 向上した。これは、訓練の安定化と検出品質の向上に有効であることを示している。