[論文レビュー] DanceTrack: Multi-Object Tracking in Uniform Appearance and Diverse Motion

Peize Sun, Jinkun Cao+5 more|arXiv (Cornell University)|Nov 29, 2021

Video Surveillance and Tracking Methods被引用数 23

ひとこと要約

本稿では、一様な外見と複雑で多様な運動パターンを特徴とする人間を対象とした大規模なマルチオブジェクトトラッキングデータセットであるDanceTrackを紹介する。外見ベースのトラッキング手法の課題を浮き彫りにするために、運動モデリングとポーズやセグメンテーションといった細分化された表現に焦点を当てた。研究では、最先端のトラッカーがDanceTrackにおいて顕著に性能を落とすことを示し、現在の外見のみに依存する関連付け戦略の限界を明らかにするとともに、より頑健で運動に注意を向けるトラッキングアプローチの必要性を提唱する。

ABSTRACT

A typical pipeline for multi-object tracking (MOT) is to use a detector for object localization, and following re-identification (re-ID) for object association. This pipeline is partially motivated by recent progress in both object detection and re-ID, and partially motivated by biases in existing tracking datasets, where most objects tend to have distinguishing appearance and re-ID models are sufficient for establishing associations. In response to such bias, we would like to re-emphasize that methods for multi-object tracking should also work when object appearance is not sufficiently discriminative. To this end, we propose a large-scale dataset for multi-human tracking, where humans have similar appearance, diverse motion and extreme articulation. As the dataset contains mostly group dancing videos, we name it "DanceTrack". We expect DanceTrack to provide a better platform to develop more MOT algorithms that rely less on visual discrimination and depend more on motion analysis. We benchmark several state-of-the-art trackers on our dataset and observe a significant performance drop on DanceTrack when compared against existing benchmarks. The dataset, project code and competition server are released at: \url{https://github.com/DanceTrack}.

研究の動機と目的

• 既存のマルチオブジェクトトラッキングデータセットが特徴的な外見と規則的な運動パターンに偏っているというバイアスに対処すること。
• 視覚的識別性が低い現実世界のシナリオにおいて、外見マッチングに大きく依存する現在の最先端トラッカーの失敗を露呈すること。
• 運動の複雑さとオクルージョンに重点を置いた新しいベンチマークを構築し、より頑健で運動に注意を向けるトラッキングアルゴリズムの開発を促進すること。
• 困難な現実世界の条件下でのマルチオブジェクトトラッキングの評価と改善を可能とする大規模で多様なデータセットを提供すること。
• 境界ボックスを超えた追加の手がかり（例：ポーズ、セグメンテーション、深度）が、困難な状況下でのトラッキングパフォーマンス向上にどの程度寄与するかを分析すること。

提案手法

• 外見が非常に似ており、非線形的な運動パターンを示すグループダンスの動画から構成される、大規模なマルチオブジェクトトラッキングデータセットであるDanceTrackを提案する。
• 境界ボックスとIDラベルを付与した10万枚以上の画像フレームを収集・アノテートし、オクルージョンや頻繁な位置入れ替えに特に注目する。
• MOTA、HOTA、IDF1といった標準的な指標を用いて、DanceTrack上で既存の最先端トラッカーの性能をベンチマーク化し、性能低下を定量的に評価する。
• COCO（マスクとポーズ用）、KITTI（深度用）といった補助データセットを用いた共同学習を導入し、モデルの汎化性能を向上させるとともに、マルチモodal出力を可能にする。
• セグメンテーションマスク、人間のポーズ推定、深度情報のトラッキングパフォーマンスに与える影響を評価するためのアブレーションスタディを実施する。
• 検出にCenterNet、関連付けにBYTEを用いた統一されたトラッキングパイプラインを採用し、実験間の公平な比較を確保する。

実験結果

リサーチクエスチョン

• RQ1 外見が非常に均一で運動パターンが複雑なデータセットにおいて、最先端のマルチオブジェクトトラッキング手法はどの程度の性能を示すか？
• RQ2 境界ボックスに比べて、セグメンテーションマスク や人間のポーズといった細分化された表現が、トラッキングの頑健性向上にどの程度寄与するか？
• RQ3 KITTI（車両を対象としている）とは異なるドメインからの深度情報を取り入れることで、DanceTrackにおけるトラッキングパフォーマンスは向上するか？また、ドメインシフトに起因する制限要因は何か？
• RQ4 外見の手がかりが信頼できない状況下で、運動モデリングと時間的ダイナミクスはトラッキングパフォーマンスにどのように影響を与えるか？
• RQ5 補助データセット（例：COCO）を用いた共同学習は、外見以外の手がかりに依存する場合に、DanceTrackにおけるモデル性能の向上に寄与するか？

主な発見

• 最先端のトラッカーはDanceTrackにおいて顕著な性能低下を示し、MOTAがMOT17の90%以上から78.8%に低下する。これは、視覚的識別性が低い状況下で外見ベースの関連付けが失敗することを示している。
• インスタンスセグメンテーションマスクを追加すると、MOTAが1.8ポイント上昇（78.8% → 80.6%）、IDF1が1.1ポイント上昇し、細分化された空間表現の利点が明らかになった。
• ポーズ推定はセグメンテーションよりも大きな性能向上をもたらし、MOTAが4.1ポイント上昇（82.9%）し、IDF1が3.7ポイント上昇した。これは、オクルージョン下でもより頑健であるためである。
• KITTIから得た深度情報は、ベースラインに加えることでMOTAを0.1ポイント向上させるが、KITTI（車両）とDanceTrack（人間）の間のドメインシフトのため、全体のパフォーマンスは依然として低いままだった。
• COCOのマスクとポーズの両方を用いた共同学習は性能を顕著に向上させ、MOTAが83.1%、IDF1が43.9%に上昇した。これはマルチモーダルな教師信号の価値を示している。
• アブレーションスタディの結果、運動モデリングと時間的ダイナミクスが極めて重要であることが確認された。外見の手がかりのみを用いた場合、性能が著しく低下するため、運動に注意を向けるトラッキング設計の必要性が浮き彫りになった。