[論文レビュー] NFL Play Prediction

Brendan Teich, Roman Lutz+1 more|arXiv (Cornell University)|Jan 4, 2016

Sports Analytics and Performance参考文献 9被引用数 3

ひとこと要約

本論文は、ゲームの状況データを用いてNFLのプレー結果を予測するフレームワークを提案し、プレーの成功をより良く評価するための新しい「プログレス」指標を導入している。複数の機械学習モデル（例：RBF SVM、線形回帰、ニューラルネットワーク）を評価した結果、RBF SVRがプログレス指標において最小の平均絶対誤差（0.1351）を達成し、従来のヤード数ベースの予測を上回った。

ABSTRACT

Based on NFL game data we try to predict the outcome of a play in multiple different ways. An application of this is the following: by plugging in various play options one could determine the best play for a given situation in real time. While the outcome of a play can be described in many ways we had the most promising results with a newly defined measure that we call "progress". We see this work as a first step to include predictive analysis into NFL playcalling.

研究の動機と目的

• ゲームの状況とプレーの説明に基づいてNFLプレー結果の予測モデルを開発すること。
• ヤード数獲得という伝統的な成功指標の限界（高い誤差、外れ値への感受性）を是正すること。
• プレーの戦略的価値をより的確に捉えることのできる連続的指標「プログレス」を導入・検証すること。
• リアルタイムのプレー指揮状況におけるプレー結果の分類および回帰予測に適した複数の機械学習モデルを評価すること。
• 予測分析を用いてNFLのプレー指揮意思決定を支援または最適化することが可能であることを示すこと。

提案手法

• 著者らは、ダウン、1stダウンまでの距離、フィールドポジション、ゲームクロックなどの状況的特徴を含む、包括的なNFLプレーのデータセットを用いた。
• 新たな連続的成功指標「プログレス」を定義し、獲得ヤード数を1stダウンに必要な距離で割った比として計算し、タッチダウンの場合は1.0までキャップする。
• 複数の教師あり学習モデルを訓練した：決定木、k近傍法、ナイーブベイズ、線形判別分析、SVM（RBFおよび線形）、線形回帰、回帰木、フィードフォワードニューラルネットワーク。
• 回帰指標（MAE、RMSE）と分類指標（正解率、再現率）を用いて、3つのターゲット（バイナリ成功、ヤード数獲得、プログレス）でモデルを評価した。
• 異なるプレー種別およびダウン状況におけるモデルのパフォーマンスを比較し、特に3rdダウンおよび4thダウンプレーに注目した。
• このフレームワークにより、コーチはリアルタイムで複数のプレー本の選択肢をシミュレートし、予測成功度が最も高いプレーを特定できるようになった。

実験結果

リサーチクエスチョン

• RQ1 「プログレス」という新しい連続的指標は、従来のヤード数ベースの指標よりも、より正確で意味のあるプレー成功の測定を可能にするか？
• RQ2 異なるゲーム状況において、NFLプレーの結果を予測する際に、どの機械学習モデルが最も優れた性能を示すか？
• RQ3 バイナリ成功、ヤード数獲得、プログレス指標の各ターゲットにおいて、予測性能はどのように変動するか？
• RQ4 予測モデルは、リアルタイムのNFLプレー指揮意思決定をどの程度支援できるか？
• RQ5 一般NFLデータではなく、チーム固有のデータで学習させた場合、モデルのパフォーマンスは向上するか？

主な発見

• RBFサポートベクターレグレッション（RBF SVR）モデルがプログレス指標で最小の平均絶対誤差（MAE）0.1351を達成し、高い予測精度を示した。
• プログレス指標はヤード数獲得をターゲットとした場合に比べて顕著に優れており、RBF SVRではMAEが5.207にとどまり、高い分散と外れ値への感受性により信頼性が低い。
• すべてのモデルがバイナリ成功ターゲットではヤード数やプログレスよりも高い正解率と再現率を示したが、プログレス指標はより洗練され、実用的な予測を可能にした。
• 回帰木はプログレス予測において低性能（MAE 0.1424）を示したが、RBF SVRと線形回帰は全指標で一貫性のある性能を示した。
• 結果から、特に3rdダウンや4thダウンのような高リスク状況において、ヤード数獲得よりもプログレスがより信頼性があり直感的な予測ターゲットであることが示唆された。
• 本研究は、フォーメーション、ルート、選手の役割などのより詳細なデータが得られるようになれば、このフレームワークをチーム固有のプレー指揮最適化に実用応用可能であると結論づけた。