[論文レビュー] SportsMOT: A Large Multi-Object Tracking Dataset in Multiple Sports Scenes

Yutao Cui, Chenkai Zeng+4 more|arXiv (Cornell University)|Apr 11, 2023

Video Surveillance and Tracking Methods被引用数 4

ひとこと要約

本稿では、バスケットボール、バドミントン、サッカーの3種目を対象とし、合計240の動画シーケンス、150,000フレーム以上、160万個のバウンディングボックスを含む大規模なマルチオブジェクトトラッキングデータセットSportsMOTを紹介する。運動と外見に基づく関連付けの課題に対処するため、運動ベースのトラッキングとMixFormerに類似た外見モデルを統合したトラッカーであるMixSortを提案し、SportsMOTでは73.8のHOTAを達成する最先端の性能を発揮するとともに、MOT17およびSoccerNetにおける汎化性能の向上を実現した。

ABSTRACT

Multi-object tracking in sports scenes plays a critical role in gathering players statistics, supporting further analysis, such as automatic tactical analysis. Yet existing MOT benchmarks cast little attention on the domain, limiting its development. In this work, we present a new large-scale multi-object tracking dataset in diverse sports scenes, coined as \emph{SportsMOT}, where all players on the court are supposed to be tracked. It consists of 240 video sequences, over 150K frames (almost 15 imes MOT17) and over 1.6M bounding boxes (3 imes MOT17) collected from 3 sports categories, including basketball, volleyball and football. Our dataset is characterized with two key properties: 1) fast and variable-speed motion and 2) similar yet distinguishable appearance. We expect SportsMOT to encourage the MOT trackers to promote in both motion-based association and appearance-based association. We benchmark several state-of-the-art trackers and reveal the key challenge of SportsMOT lies in object association. To alleviate the issue, we further propose a new multi-object tracking framework, termed as \emph{MixSort}, introducing a MixFormer-like structure as an auxiliary association model to prevailing tracking-by-detection trackers. By integrating the customized appearance-based association with the original motion-based association, MixSort achieves state-of-the-art performance on SportsMOT and MOT17. Based on MixSort, we give an in-depth analysis and provide some profound insights into SportsMOT. The dataset and code will be available at https://deeperaction.github.io/datasets/sportsmot.html.

研究の動機と目的

• 動的で高速な環境における選手トラッキングを想定した、スポーツに特化した大規模でマルチオブジェクトトラッキングのベンチマークが不足しているという問題に対処する。
• 特に高速で変動する選手の動きと視覚的に類似したユニフォームによる、運動ベースおよび外見ベースの関連付けにおける主な課題を特定する。
• 複雑なスポーツシーンにおける関連付け精度の向上を図るため、運動および外見モデリングの両方を強化した新しいトラッキングフレームワーク、MixSortを開発する。
• スポーツ用途に特化したマルチオブジェクトトラッキングモデルの評価と発展を促進する包括的なベンチマークを提供する。
• スポーツ種目間でのトラッカーの汎化性能の分析を深め、MOT17、DanceTrack、SoccerNetといった既存データセットと比較可能にする。

提案手法

• バスケットボール、バドミントン、サッカーの映像から240の高品質な動画シーケンスを収集・アノテートし、15万フレーム以上、160万個のバウンディングボックスをカバー。コート上にいる全選手をトラッキングする。
• 外見ベースのトラッキングを強化するため、MixFormerに類似した構造を補助的関連付けモジュールとして統合した新しいマルチオブジェクトトラッキングフレームワーク、MixSortを設計する。
• カルマンフィルタとIoUを用いた運動ベースの関連付けと、MixFormerモジュールを介した外見ベースの関連付けを、学習可能な統合メカニズムで統合する。
• 類似した外見を持つ選手（異なる背番号やポジション）の判別的特徴抽出を向上させるために、SportsMOT上でReIDモデルを微調整する。
• SportsMOT上で複数の最先端トラッカー（例：ByteTrack、DeepSORT）を訓練・評価し、トレイン/バリデーション/テストの分割を45/45/150シーケンスとする。
• IoUとMixSortベースの関連付けスコアを重み付き統合戦略（ハイパーパrameter α）で統合し、バリデーションでのHOTA最適化を図る。

Figure 1 : Sampled sequences from the categories of basketball and football of SportsMOT, MOT17 and DanceTrack. There exist two key properties of SportsMOT: 1) fast and variable-speed motion , i.e . players usually possess high speed and frequently change their running speed (the visualized adjacent

実験結果

リサーチクエスチョン

• RQ1 高速で変動する選手の動きを伴う大規模なスポーツ特化MOTベンチマークにおいて、既存の最先端マルチオブジェクトトラッカーはどの程度の性能を示すか？
• RQ2 運動モデル化と外見識別性の両面で、現在のトラッカーがスポーツシーンに適用された際の主な失敗モードは何か？
• RQ3 類似したが区別可能な外見を示す選手に対して、MixFormerに類似したアーキテクチャが外見ベースの関連付けをどの程度向上できるか？
• RQ4 MOT17、DanceTrack、SoccerNetといった既存ベンチマークと比較して、SportsMOTはトラッキングの難易度やモデルの汎化性能においてどのように異なるか？
• RQ5 運動と外見の両方を統合したハイブリッド関連付けフレームワークは、単一の運動または外見ベースのトラッカーに比べ、複雑なスポーツ環境で優れた性能を発揮できるか？

主な発見

• SportsMOTはMOT17よりも顕著に困難なベンチマークであり、高い検出精度（79.1 DetA）を示す一方で、IDF1とAssAスコアが低く（バスケットボールでは67.8および46.8）、関連付けが主なボトルネックであることを示している。
• MixSortフレームワークはSportsMOTで73.8の最先端HOTAを達成し、標準的なIoUベースの関連付け（71.5 HOTA）を上回り、MixFormerベースの外見モデルの有効性を実証した。
• バスケットボールサブセットでは60.8のHOTAを記録し、スポーツ種目の中で最低水準にとどまり、高速で高エネルギーの選手の動きとオクルージョンの困難さが顕著に表れている。
• SportsMOTにおいて、MixSortは標準的なByteTrackおよびReIDを搭載したByteTrackを上回り、HOTAを0.9、IDF1を1.9、AssAを1.4向上させ、提案された外見モデリングの優位性を裏付けた。
• DanceTrackではMixSortが標準的なByteTrackに劣る結果となったが、これはSportsMOTの外見特徴がDanceTrackの区別不能な衣装よりも判別性が高いためであり、SportsMOTが運動と外見の両方の課題を効果的に組み合わせたことを裏付けた。
• SoccerNetはサッカーに特化しているが、DetA（71.5）とHOTA（62.9）がSportsMOT（78.8 DetA、65.7 HOTA）より低い結果を示し、SportsMOTの包括的かつ高品質なアノテーションがトラッカー性能の向上とより頑健な評価を可能にしていることを示唆している。

Figure 2 : IoU on adjacent frames. (a) Compared to MOT17 and DanceTrack, SportsMOT has a lower score, indicating that objects have faster motion. (b) In SportsMOT, the category of football has the lowest IoU score, which means that football players often have fast motion.