[論文レビュー] SoccerNet-Tracking: Multiple Object Tracking Dataset and Benchmark in Soccer Videos

Anthony Cioppa, Silvio Giancola+6 more|arXiv (Cornell University)|Apr 14, 2022

Video Surveillance and Tracking Methods被引用数 8

ひとこと要約

本稿では、200の30秒シーケンスと完全にアノテートされた45分間のハーフタイム映像を含む大規模な複数対象追跡（MOT）データセットであるSoccerNet-Trackingを紹介する。このデータセットは、選手、ボール、レフェリーのバウンディングボックスとトラックレットIDを完全にアノテートしている。ベンチマークでは、高速移動や重度の隠蔽状態下での追跡に大きな課題が明らかとなり、最先端のMOT手法ですら、特にコーナーキックやゴールシーンで性能を発揮できないことが示され、スポーツ映像解析における検出と再識別の向上の必要性が強調されている。

ABSTRACT

Tracking objects in soccer videos is extremely important to gather both player and team statistics, whether it is to estimate the total distance run, the ball possession or the team formation. Video processing can help automating the extraction of those information, without the need of any invasive sensor, hence applicable to any team on any stadium. Yet, the availability of datasets to train learnable models and benchmarks to evaluate methods on a common testbed is very limited. In this work, we propose a novel dataset for multiple object tracking composed of 200 sequences of 30s each, representative of challenging soccer scenarios, and a complete 45-minutes half-time for long-term tracking. The dataset is fully annotated with bounding boxes and tracklet IDs, enabling the training of MOT baselines in the soccer domain and a full benchmarking of those methods on our segregated challenge sets. Our analysis shows that multiple player, referee and ball tracking in soccer videos is far from being solved, with several improvement required in case of fast motion or in scenarios of severe occlusion.

研究の動機と目的

• サッカー動画における複数対象追跡のための大規模で完全にアノテートされたデータセットの不足に対処すること。
• 侵襲的でないセンサーを用いずに、走行距離、ボール支配時間、フォーメーションなどの選手・チーム統計の自動抽出を可能にすること。
• 隠蔽状態や高速移動を含む現実的で困難なサッカーのシナリオにおけるMOT手法の評価ベンチマークを確立すること。
• 現在の最先端トラッカーにおける主な失敗モード、特に高隠蔽状態や高速移動イベントにおける問題を特定すること。
• 45分間完全にアノテートされたハーフタイムシーケンスを通じて、長期間追跡と耐障害性の高い再識別に関する研究を促進すること。

提案手法

• 12試合から選ばれた200の短いシーケンス（30秒ずつ）を用い、ゴール、コーナーキック、フリーキックなど11の困難なサッカー行動に焦点を当てる。
• 長期間追跡評価のため、45分間の完全なハーフタイム映像を密度高くアノテートし、25fpsでバウンディングボックスとトラックレットIDを付与。
• 選手、ボール、レフェリーをアノテートし、トラックレットIDを付与することで、標準的なMOTメトリクスを用いた追跡評価を可能にする。
• データセットはトレーニング用と評価用に分割され、将来のオープンチャレンジのための過学習防止を目的に、評価用データは隔離されている。
• FairMOT、ByteTrack、YOLOXといった最先端のMOTベースラインを、MOTA、HOTA、AssAといった標準メトリクスを用いてデータセット上で評価。
• SoccerNet-Trackingデータ上で事前学習済み検出器のファインチューニングにより、観客からの誤検出の低減やボール検出性能の向上を含め、検出と関連付け性能が著しく向上した。

実験結果

リサーチクエスチョン

• RQ1 複雑な隠蔽状態や高速移動を伴う大規模で現実的なサッカー動画データセットにおいて、現在の最先端MOT手法はどの程度の性能を示すか？
• RQ2 ゴールやコーナーキック、フリーキックのようなシナリオにおいて、既存のMOTモデルの主な失敗モードは何か？
• RQ3 SoccerNet-Trackingで事前学習済み検出器をファインチューニングすることで、アウト・オブ・ザ・ボックス使用時と比較して、検出と関連付け性能はどの程度向上するか？
• RQ4 入れ替え、ファウル、祝賀行動といった異なる追跡シナリオは、検出と関連付けの正確性にどのように影響を与えるか？
• RQ5 45分間のハーフタイムシーケンスは、スポーツ動画解析における長期間追跡の意味のあるベンチマークとして機能できるか？

主な発見

• FairMOTはテストセットで最高のMOTA（68.9）とHOTA（62.1）スコアを達成し、ByteTrack や YOLOX を上回り、検出と関連付け性能に優れていることが示された。
• SoccerNet-Trackingで事前学習済み検出器をファインチューニングすることで、検出と関連付け性能が著しく向上し、FairMOTのMOTAは58.7から68.9に上昇した。
• 最も困難な追跡シナリオはコーナーキックとゴールであり、主に高い隠蔽度と選手の密集状態に起因し、頻繁なIDスイッチと低スコアのAssAが観察された。
• 入れ替えやイエローカードのシナリオは、運動量が少なく、隠蔽状態も少ないため、追跡が最も容易で、高い検出精度が得られた。
• 真値検出が提供された場合、ゴールやペナルティのような困難な状況でも性能が著しく向上した。これは、検出が主なボトルネックであり、関連付けはそれほど問題ではないことを示唆している。
• 定性的な分析から、現在のモデルは高速移動物体や密集した隠蔽状態（特にフリーキックシーン）で困難を抱えており、より優れた再識別と運動モデルの開発が求められていることが明らかになった。