[論文レビュー] Evaluating Soccer Player: from Live Camera to Deep Reinforcement Learning

Paul Garnier, Théophane Gregoir|arXiv (Cornell University)|Jan 13, 2021

Human Pose and Action Recognition参考文献 22被引用数 8

ひとこと要約

本論文は、ライブカメラ入力と深層強化学習（DRL）を用いた、サッカー選手評価のための新規でエンド・ツー・エンドのフレームワークを提示し、期待割引ゴール（EDG）モデルを導入している。このシステムは、公開済みの選手追跡モデルと、シミュレーテッドゲームにのみ基づいて訓練されたDRLエージェントを組み合わせており、実際の試合データを必要としないため、大規模で独占的な現実世界のデータセットに依存せずに、スケーラブルで透明性があり、多様なプレースタイルに一般化可能な選手評価を実現している。

ABSTRACT

Scientifically evaluating soccer players represents a challenging Machine Learning problem. Unfortunately, most existing answers have very opaque algorithm training procedures; relevant data are scarcely accessible and almost impossible to generate. In this paper, we will introduce a two-part solution: an open-source Player Tracking model and a new approach to evaluate these players based solely on Deep Reinforcement Learning, without human data training nor guidance. Our tracking model was trained in a supervised fashion on datasets we will also release, and our Evaluation Model relies only on simulations of virtual soccer games. Combining those two architectures allows one to evaluate Soccer Players directly from a live camera without large datasets constraints. We term our new approach Expected Discounted Goal (EDG), as it represents the number of goals a team can score or concede from a particular state. This approach leads to more meaningful results than the existing ones that are based on real-world data, and could easily be extended to other sports.

研究の動機と目的

• 大規模で独占的な現実世界のデータセットに依存せずに、スケーラブルで透明性があり、一般化可能なサッカー選手評価手法を開発すること。
• 単一カメラの動画入力から選手追跡とパフォーマンス評価を統合したオープンソースでエンド・ツー・エンドのパイプラインを構築すること。
• 人為的にラベル付けされた試合データに依存せずに、シミュレーテッドゲームにのみ基づいて訓練された深層強化学習エージェントを用いて選手評価を行うこと。
• シミュレーションベースの訓練が、既存のデータ駆動型アプローチと同等またはそれを上回る意味のある、現実的で信頼性のある選手評価指標を生成できることを実証すること。
• オープンデータセットとコードを提供することで、高品質なサッカー追跡および分析ツールへの広範なアクセスを可能にすること。

提案手法

• 本システムは、公開済みのデータセットに基づいて訓練された教師あり選手追跡モデルを用い、ライブカメラフィードからリアルタイムで選手の座標を抽出する。
• ホモグラフィー推定モジュール（HE）は、キーポイント検出と外れ値除去を用いて視覚的歪みを補正し、2次元カメラ座標をフィールドに一致する座標系にマッピングする。
• 外観埋め込みとIoUベースのトラッキングを用いたReIDモデルにカルマンフィルタを組み合わせることで、フレーム間での選手の同一性を維持する。
• 期待割引ゴール（EDG）エージェントは、シミュレーテッドサッカー環境内で深層強化学習により訓練され、選手の行動がゴールに繋がる可能性に基づいて価値を割り当てるよう学習する。
• EDGモデルは、与えられたゲーム状態から得られるゴールの期待数を計算し、空間的要因、時間的要因、および相手との距離要因を統合する。
• このフレームワークはエンド・ツー・エンドで訓練されており、EDGエージェントは実際の試合データに一度もさらされておらず、合成されたゲームシミュレーションにのみ依存している。

実験結果

リサーチクエスチョン

• RQ1 シミュレーテッドサッカー試合にのみ基づいて訓練された深層強化学習エージェントが、現実世界のデータに基づくものと同等またはより意味のある選手評価指標を生成できるか？
• RQ2 シミュレーションのみの訓練アプローチが、多様なプレースタイルやチーム戦術にどの程度一般化できるか？
• RQ3 EDGモデルの行動に対する価値分布は、VAEP や EPV といった既存の指標と比較して、現実性や文脈要因への感受性において優れているか？
• RQ4 オープンソースでカメラベースの追跡システムが、影や強い日差しといった複雑な視覚的条件下でも高い正確性を維持できるか？
• RQ5 EDGエージェントの訓練に人為的ラベル付けされたデータが一切使われないことで、より客観的でバイアスの少ないパフォーマンス評価が得られるか？

主な発見

• EDGモデルは、アシストとゴールにそれぞれ35%と65%の価値を割り当てるなど、行動の文脈への感受性が高く、VAEPの10%と90%と比較してよりバランスの取れた価値分布を示している。
• EDGモデルは、長距離のフォワードパスや相手選手の近くでの高リスクパスといった、微細な行動の評価において、VAEP や EPV と同等またはそれを上回っている。
• EDGエージェントは、簡単なボットに対して平均8.14ゴール差、中程度の難易度のボットに対しては4.7ゴール差を記録しており、シミュレーション内での戦略的意思決定能力が優れていることを示している。
• 強力な影や直射日光といった困難な視覚的条件下においても、頑健なホモグラフィー補正とカルマンフィルタを組み合わせたReIDにより、追跡モデルの正確性が維持されている。
• 本フレームワークは、実際の試合データを一切使用せず、ライブカメラ入力とシミュレーションベースの訓練にのみ依存する、初のオープンソースでエンド・ツー・エンドのサッカー選手追跡および評価システムである。
• EDGエージェントは、さまざまなプレースタイルやチームフォーメーションにわたって良好に一般化しており、特定のチームやリーグに合わせたファインチューニングなしに一貫したパフォーマンスを示している。