[論文レビュー] SportsTrack: An Innovative Method for Tracking Athletes in Sports Scenes

Jie Wang, Yuzhou Peng+3 more|arXiv (Cornell University)|Nov 14, 2022

Medical Imaging and Analysis被引用数 8

ひとこと要約

SportsTrackは、スポーツ動画の複数対象追跡のための新規3段階マッチングトラッカーを提案する。モーションブラー、ボディの重なり、信頼度が低い検出結果といった課題に対処するため、1対多の検出結果からトラックへの対応関係とエッジを失ったトラックの回復を実装する。YOLOX検出モデルとFast-ReID ReIDモデルを用いて、SportsMOTテストセットで76.264のHOTAを達成し、最先端の性能を発揮する。

ABSTRACT

The SportsMOT dataset aims to solve multiple object tracking of athletes in different sports scenes such as basketball or soccer. The dataset is challenging because of the unstable camera view, athletes' complex trajectory, and complicated background. Previous MOT methods can not match enough high-quality tracks of athletes. To pursue higher performance of MOT in sports scenes, we introduce an innovative tracker named SportsTrack, we utilize tracking by detection as our detection paradigm. Then we will introduce a three-stage matching process to solve the motion blur and body overlapping in sports scenes. Meanwhile, we present another innovation point: one-to-many correspondence between detection bboxes and crowded tracks to handle the overlap of athletes' bodies during sports competitions. Compared to other trackers such as BOT-SORT and ByteTrack, We carefully restored edge-lost tracks that were ignored by other trackers. Finally, we reached the SOTA result in the SportsMOT dataset.

研究の動機と目的

• モーションブラー、ボディの重なり、不安定なカメラビューに起因する動的で変化の激しいスポーツシーンにおけるアスリートの追跡課題に対処する。
• エッジを失ったトラックの回復と信頼度が低い検出結果の効果的な処理により、スポーツMOTの追跡性能を向上させる。
• 信頼度に基づく優先順位付けにより、信頼度が低いが高品質な検出結果を正しくマッチングできない既存のトラッカー（例：ByteTrack や BOT-SORT）の限界を克服する。
• ボディの重なりが生じる状況でも連続性を保つために、検出結果のバウンディングボックスと混雑したトラックとの間で1対多の対応関係を導入する。
• 特に複雑で高密度なスポーツシーンを扱う際の性能を、SportsMOTベンチマークで最先端の水準にまで向上させる。

提案手法

• スポーツシーンにおけるアスリートの高品質な検出を実現するため、$1440 \times 800$ の入力サイズを用いたYOLOXを採用する。
• ReIDベースのマッチングにおける外観埋め込みを実現するため、$128 \times 384$ の入力サイズを用いたFast-ReIDを適用する。
• 3段階のマッチング戦略を実装する：(1) より厳しい閾値を用いた厳密なReIDとIOUマッチング、(2) 高信頼度バウンディングボックスのReIDおよびIOUによるマッチング、(3) 低信頼度バウンディングボックスのIOUのみによるマッチング。
• ボディの重なり時に連続性を保つために、「混雑したトラック」を導入し、検出結果のバウンディングボックスとトラックとの間で1対多の対応関係を実現する。
• 高信頼度検出結果のマッチング後に未マッチングの低信頼度検出結果を再評価することで、エッジを失ったトラックを回復し、過剰なトラック削除を回避する。
• SportsMOTおよびDukeMTMCReIDでデータ拡張と微調整を施したpost-processing用ReIDモデル（osnet_ain_1x0）を用いることで、ReIDの汎化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 アスリートが頻繁に高速で移動し、フレーム内で重なってしまうスポーツシーンにおいて、複数対象追跡をどのように改善できるか？
• RQ2 モーションブラーによって生じる低信頼度の検出結果を、追跡性能を劣化させることなく、効果的に活用できるか？
• RQ3 1対多の検出結果-トラック対応関係は、高密度なスポーツシーンにおけるボディの重なり時における追跡の連続性を向上させられるか？
• RQ4 ByteTrackのような信頼度優先のマッチング戦略に比べ、3段階マッチング戦略がどのように優れているか？
• RQ5 エッジを失ったトラックの回復は、スポーツ動画シーケンス全体のMOT性能にどのような影響を与えるか？

主な発見

• SportsTrackは、SportsMOTテストセットで76.264という最先端のHOTAスコアを達成し、既存のトラッカーを大きく上回る。
• SportsMOTバリデーションセットでは80.863のHOTAを達成し、優れた汎化性能と耐障害性を示している。
• 3段階マッチング戦略により、エッジを失ったトラックの回復が効果的に行われ、特にモーションブラーおよびボディの重なりが生じる状況での追跡連続性が向上している。
• 検出結果のバウンディングボックスと混雑したトラックとの間の1対多の対応関係により、ボディの重なり時におけるトラック断片化が低減され、トラック品質が向上している。
• 段階的なマッチングプロセスでReIDとIOUを組み合わせることで、検出結果の整合性とトラックの関連付け精度が向上している。
• post-processing用ReIDモデルの導入により、ReID性能が顕著に向上し、長期的なトラック安定性とIDの一貫性向上に寄与している。