[論文レビュー] Evaluating Soccer Match Prediction Models: A Deep Learning Approach and Feature Optimization for Gradient-Boosted Trees

Calvin Yeung, Rory Bunker+2 more|arXiv (Cornell University)|Sep 26, 2023

Sports Analytics and Performance被引用数 4

ひとこと要約

本研究では、2023年サッカープレディクションチャレンジデータセットを用いて、ディープラーニングおよび勾配ブースティング木モデルを用いたサッサーゲームの結果予測を評価する。タイムズネット、トランスフォーマー、フィードフォワードネットワークを統合したハイブリッドディープラーニングモデルを提案し、特徴量選択アルゴリズムを用いて最適化する。結果として、piレーティングはCatBoostに対して最適であることが判明したが、ディープラーニングモデルは、勝ち／分け／負けの確率予測においてベッティングコンセンサスから6%劣っている。

ABSTRACT

Machine learning models have become increasingly popular for predicting the results of soccer matches, however, the lack of publicly-available benchmark datasets has made model evaluation challenging. The 2023 Soccer Prediction Challenge required the prediction of match results first in terms of the exact goals scored by each team, and second, in terms of the probabilities for a win, draw, and loss. The original training set of matches and features, which was provided for the competition, was augmented with additional matches that were played between 4 April and 13 April 2023, representing the period after which the training set ended, but prior to the first matches that were to be predicted (upon which the performance was evaluated). A CatBoost model was employed using pi-ratings as the features, which were initially identified as the optimal choice for calculating the win/draw/loss probabilities. Notably, deep learning models have frequently been disregarded in this particular task. Therefore, in this study, we aimed to assess the performance of a deep learning model and determine the optimal feature set for a gradient-boosted tree model. The model was trained using the most recent five years of data, and three training and validation sets were used in a hyperparameter grid search. The results from the validation sets show that our model had strong performance and stability compared to previously published models from the 2017 Soccer Prediction Challenge for win/draw/loss prediction.

研究の動機と目的

• ディープラーニングモデルのサッサーゲーム結果予測、特に勝ち／分け／負けの確率および正確なスコアの予測性能を評価すること。
• 特徴量選択アルゴリズムを用いて、勾配ブースティング木モデルの最適な特徴量セットを同定すること。
• 公開可能なベンチマークデータセットの不足を補うために、2023年サッカープレディクションチャレンジデータを活用し、2023年4月4日～13日の中の試合データを訓練セットに追加すること。
• ベッティングオッズコンセンサスや統計モデルといった既存のベースラインと比較して、ディープラーニングモデルの予測性能を評価すること。
• モデルの解釈可能性を検討し、今後の研究においてベッティングオッズや選手データといったエキスパートが導出した特徴量を統合する可能性を検討すること。

提案手法

• 時系列モデリングにTimesNet、シーケンスアテンションにトランスフォーマー構造、最終予測にフィードフォワードニューラルネットワークを統合したハイブリッドアーキテクチャを採用。
• チームIDのための埋め込み層と、ドロップアウトを含む多層パーセプトロンを用いた非順序特徴量のためのアーキテクチャを統合。
• ハイパーパramータチューニングのため、3つの訓練／検証分割を用いたグリッドサーチを実施し、埋め込み次元、フィードフォワード層サイズ、ドロップアウト率を最適化。
• 訓練セットの終了日以降、評価期間以前の2023年4月4日～13日の中の試合データを元の訓練セットに追加。
• CatBoost用の予測性の高い特徴量を同定するために、特徴量選択アルゴリズムを用い、piレーティング、ゴール統計、パフォーマンス指標に焦点を当てる。
• チャレンジの公式評価プロトコルに従い、正確なスコア予測および勝ち／分け／負けの確率予測の両タスクでモデルを評価。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、特に勝ち／分け／負けの確率予測において、勾配ブースティング木モデルを上回ることができるか？
• RQ2 piレーティングおよび派生統計量を含めた場合、サッサーゲーム予測における勾配ブースティング木モデルの最適な特徴量セットは何か？
• RQ3 正確なスコア予測と確率ベースの結果予測の両タスクにおけるモデル性能は、どのように異なるか？
• RQ4 ベッティングオッズコンセンサスモデルは、機械学習モデルと比較して、W/D/L確率予測においてどの程度優れているか？
• RQ5 訓練後期間の試合データを用いた特徴量拡張は、モデルの一般化性能および予測安定性を向上させることができるか？

主な発見

• ディープラーニングモデルは、勝ち／分け／負けの確率予測において、ベッティングコンセンサスモデルから6%劣っており、この文脈ではディープラーニングによる利点が限定的であることが示された。
• CatBoostモデルにおいてもpiレーティングが最も効果的な特徴量セットであり、他の特徴量の組み合わせを上回った。
• 正確なスコア予測では、Berrarレーティングおよび単純な統計ベースラインが、ディープラーニングおよび勾配ブースティング木モデルを上回った。
• CatBoostの最適な特徴量セットには、EG_HT、GS_avg_HT、point_per_match_HT、win_pct_AT、pi_rating_HT/ATといったチーム固有の指標が含まれた。
• ディープラーニングモデルのハイパーパramータ探索により、MLPに10層、1次元のチーム埋め込み、ドロップアウト率0.2が最適な設定であると判明した。
• 2023年4月4日～13日の中の試合データを用いたデータ拡張により、モデルの安定性および性能が向上し、訓練期間と評価期間のギャップが埋まった。