[論文レビュー] Player Tracking and Identification in Ice Hockey

Kanav Vats, Pascale Walters+3 more|arXiv (Cornell University)|Oct 6, 2021

Video Analysis and Summarization被引用数 4

ひとこと要約

本論文では、1本の3段階パイプライン（複数対象追跡、チーム分類、時間的1次元CNNを用いた選手特定）を用いて、NHL放送映像における選手の追跡と識別を自動化するシステムを提示する。本システムは、トラックレット、チームラベル、NHLロスター情報を活用し、選手特定の正確性を82.8％に達成し、MOTAは94.5％、IDF1は62.9％を記録した。

ABSTRACT

Tracking and identifying players is a fundamental step in computer vision-based ice hockey analytics. The data generated by tracking is used in many other downstream tasks, such as game event detection and game strategy analysis. Player tracking and identification is a challenging problem since the motion of players in hockey is fast-paced and non-linear when compared to pedestrians. There is also significant camera panning and zooming in hockey broadcast video. Identifying players in ice hockey is challenging since the players of the same team look almost identical, with the jersey number the only discriminating factor between players. In this paper, an automated system to track and identify players in broadcast NHL hockey videos is introduced. The system is composed of three components (1) Player tracking, (2) Team identification and (3) Player identification. Due to the absence of publicly available datasets, the datasets used to train the three components are annotated manually. Player tracking is performed with the help of a state of the art tracking algorithm obtaining a Multi-Object Tracking Accuracy (MOTA) score of 94.5%. For team identification, the away-team jerseys are grouped into a single class and home-team jerseys are grouped in classes according to their jersey color. A convolutional neural network is then trained on the team identification dataset. The team identification network gets an accuracy of 97% on the test set. A novel player identification model is introduced that utilizes a temporal one-dimensional convolutional network to identify players from player bounding box sequences. The player identification model further takes advantage of the available NHL game roster data to obtain a player identification accuracy of 83%.

研究の動機と目的

• 視覚的にほとんど同一に見える選手（背番号以外）が多数存在するアイスホッケー放送映像において、エンドツーエンドの自動化された選手追跡および識別システムの開発を目的とする。
• 高速で非線形的な運動と動的なカメラ移動が生じるホッケー映像における追跡および再識別を困難にする課題に対処することを目的とする。
• 公に利用可能なベンチマークが存在しないため、選手追跡、チーム識別、選手識別のための新しいデータセットの作成およびアノテーションを行うことを目的とする。
• 選手のトラックレットからの時間的文脈とロスター情報の統合により、選手識別の正確性を向上させることを目的とする。
• 確率ウィンドウのマジョリティ投票と後処理を用いて、アイデンティティの入れ替えや誤分類エラーを低減することを目的とする。

提案手法

• 選手追跡は最新の追跡アルゴリズムを用いて実施され、カスタムデータセット上でMOTAが94.5％に達した。
• チーム識別には、選手をホームチームまたはアwayチームに分類する畳み込みニューラルネットワーク（CNN）を用い、ホームチームはユニフォームの色でクラスタリングされ、アウェイチームは1つのクラスに統合された。
• 本研究では、選手のバウンディングボックス（トラックレット）の時間的シーケンスを処理する新規の時間的1次元CNNモデルを提案し、フレーム間の時間的文脈を活用して背番号を特定する。
• 選手識別モデルは、トラックレット特徴量と試合ロスター情報を統合し、選手固有のベクトル（v_a および v_p）を計算することで予測を精緻化する。
• 推論パイプラインでは、背番号が可視である可能性が高いフレームを特定するための可視性フィルタを適用し、その後に重み付き平均を用いた確率集約と後処理を実施して誤検出を抑制する。
• 後処理では、マジョリティ投票とヌルクラス処理を用いて耐性を高め、最終予測は集約された確率に基づく。

実験結果

リサーチクエスチョン

• RQ1 視覚的差がほとんどないチームメイトが多数存在する、高速でカメラが動くアイスホッケー放送映像において、どのようにして選手の追跡と識別を効果的に行えるか？
• RQ2 選手トラックレットからの時間的文脈と外部の試合データ（例：ロスター）を最適に統合する方法は何か？
• RQ3 可視性フィルタリングと確率集約は、実世界の放送映像における選手識別の耐性および正確性にどのように影響を与えるか？
• RQ4 トラックレットウィンドウにおけるマジョリティ投票と後処理により、チーム識別エラーをどの程度低減できるか？
• RQ5 試合ロスター情報を統合することで、包括的な追跡パイプライン全体の選手識別パフォーマンスはどの程度向上するか？

主な発見

• 選手追跡部は、カスタムデータセット上で94.5％のマルチオブジェクト追跡精度（MOTA）を達成し、優れた性能を示した。
• チーム識別モデルはテストセットで96.6％の正確性を達成し、新規の試合に対して微調整を必要としなかった。
• 提案された1次元CNNベースの選手識別モデルは、可視性フィルタリングと後処理を適用した結果、83.17％の正確性を達成し、先行研究より9.9％高い性能を示した。
• 試合ロスター情報を統合することで、13本のテスト動画平均でシステム全体の正確性が77.9％から82.8％に向上した。
• 動画11においては、ロスターベクトルの導入による正確性向上が24.44％に達し、低可視状態における文脈的情報の大きな影響を示した。
• アブレーションスタディにより、可視性フィルタリングと後処理が不可欠であることが確認され、最適な集約手法を用いてもそれらを除去すると正確性が2.37％以上低下した。