[論文レビュー] SoccerNet 2023 Tracking Challenge -- 3rd place MOT4MOT Team Technical Report

Gal Shitrit, Ishay Be’ery+1 more|arXiv (Cornell University)|Aug 31, 2023

Video Analysis and SummarizationComputer Science被引用数 3

ひとこと要約

本論文は、SoccerNet 2023 トラッキングチャレンジで3位を獲得したMOT4MOTチームの手法を提示する。HOTAスコアは66.27を達成した。本手法は、プレイヤーとボールのトラッキングを分離して処理する。プレイヤーのトラッキングには、微調整されたYOLOv8検出器とDeepOC-SORT++トラッカーを用い、後処理としてガウス過程補間（GSI）、外見情報なしのトラックマージ（AFLink）、外見ベースのトラックマージを適用する。ボールのトラッキングには、低信頼度のYOLOv8l検出器を用い、時間的平滑化とフィルタリングを施した後、線形補間を用いて連続性を確保する。

ABSTRACT

The SoccerNet 2023 tracking challenge requires the detection and tracking of soccer players and the ball. In this work, we present our approach to tackle these tasks separately. We employ a state-of-the-art online multi-object tracker and a contemporary object detector for player tracking. To overcome the limitations of our online approach, we incorporate a post-processing stage using interpolation and appearance-free track merging. Additionally, an appearance-based track merging technique is used to handle the termination and creation of tracks far from the image boundaries. Ball tracking is formulated as single object detection, and a fine-tuned YOLOv8l detector with proprietary filtering improves the detection precision. Our method achieves 3rd place on the SoccerNet 2023 tracking challenge with a HOTA score of 66.27.

研究の動機と目的

• 高速で動的なサッカー動画シーケンスにおけるマルチオブジェクトトラッキングの課題に、高い正確性で対処すること。
• 特に遮蔽、小規模なオブジェクト、外見の変化に強い、プレイヤーおよびボールのトラッキングのロバスト性を向上させること。
• ドメイン特化の微調整と後処理技術を用いて、検出とトラッキングのパフォーマンスを最適化すること。
• ハイブリッドオンライン・オフラインアプローチを用いて、SoccerNet 2023 トラッキングチャレンジで最先端のパフォーマンスを達成すること。

提案手法

• プレイヤーのトラッキングは、2段階のアプローチを採用する：まず微調整されたYOLOv8l検出器でプレイヤーを検出し、次にDeepOC-SORT++でトラッキングする。
• 後処理には、欠落した検出を回復するためのガウス過程補間（GSI）と、外見の手がかりなしでトラックをマージするAFLinkを含む。
• 外見ベースのトラックマージは、画像境界から遠く離れて終了したトラックが、高外見類似度で新たに出現したトラックと再接続されるように適用される。
• ボールのトラッキングは、低信頼度閾値（0.05）を設定した微調整済みYOLOv8l検出器を用いた単一オブジェクト検出として扱うことで、再現率を最大化する。
• 時間的フィルタリングには、各フレームで最も信頼度の高いボール検出に対して3次多項式平滑化を施し、その後、滑らかな軌道から100ピクセル以内の検出を選択する。
• 欠落したボールの検出は、連続したトラッキングボックスシーケンスを保証するため、線形補間により回復する。

実験結果

リサーチクエスチョン

• RQ1 高速な運動、遮蔽、小規模なオブジェクトサイズが特徴のサッカー動画において、オンラインマルチオブジェクトトラッキングをどのように改善できるか？
• RQ2 将来のフレームが利用できない状況下で、後処理による補間とトラックマージがトラッカーのロバスト性に果たす役割は何か？
• RQ3 検出器および外見モデルのドメイン特化の微調整が、SoccerNetデータ上でのトラッキングパフォーマンスにどの程度向上効果をもたらすか？
• RQ4 ボールとプレイヤーのトラッキングを分離することで、統合トラッキングアプローチに比べ、全体のHOTAがどの程度向上するか？

主な発見

• 最終的なトラッカーは、SoccerNet 2023テストセットでHOTAスコア66.27を達成し、チャレンジで3位を獲得した。
• SoccerNetデータ上で微調整したプレイヤー検出器は、COCOで得られたAP@0.5の0.954から0.990に向上し、ドメイン適応の強さを示した。
• アブレーションスタディの結果、微調整済み検出器がHOTA向上に最も寄与しており、他のコンponentsと組み合わせた際のHOTA向上は5.9ポイントに達した。
• 外見ベースのトラックマージを適用したことで、AFLinkとGSIのみを用いた場合に比べ、HOTAが0.38%向上した。
• 検出器の代わりに真値（GT）ボックスを用いることで、DeepOC-SORT++のHOTAは66.00から87.85に上昇した。これは、検出器の品質が主なボトルネックであることを示している。
• クロップ増強を施した外見モデルは、ランク1精度0.95、mAP 0.80を達成し、限られた識別子数（199）とチームメイト間の高相関性にもかかわらず、優れた性能を示した。