[论文解读] Evaluating Soccer Match Prediction Models: A Deep Learning Approach and Feature Optimization for Gradient-Boosted Trees

Calvin Yeung, Rory Bunker+2 more|arXiv (Cornell University)|Sep 26, 2023

Sports Analytics and Performance被引用 4

一句话总结

本研究使用2023年足球预测挑战赛数据集，评估了深度学习与梯度提升树模型在足球比赛结果预测中的表现。研究提出了一种结合TimesNet、Transformer与前馈网络的混合深度学习模型，并通过特征选择算法优化特征；结果表明，pi-ratings在CatBoost中仍为最优特征，但深度学习在胜/平/负概率预测上较投注赔率共识低6%。

ABSTRACT

Machine learning models have become increasingly popular for predicting the results of soccer matches, however, the lack of publicly-available benchmark datasets has made model evaluation challenging. The 2023 Soccer Prediction Challenge required the prediction of match results first in terms of the exact goals scored by each team, and second, in terms of the probabilities for a win, draw, and loss. The original training set of matches and features, which was provided for the competition, was augmented with additional matches that were played between 4 April and 13 April 2023, representing the period after which the training set ended, but prior to the first matches that were to be predicted (upon which the performance was evaluated). A CatBoost model was employed using pi-ratings as the features, which were initially identified as the optimal choice for calculating the win/draw/loss probabilities. Notably, deep learning models have frequently been disregarded in this particular task. Therefore, in this study, we aimed to assess the performance of a deep learning model and determine the optimal feature set for a gradient-boosted tree model. The model was trained using the most recent five years of data, and three training and validation sets were used in a hyperparameter grid search. The results from the validation sets show that our model had strong performance and stability compared to previously published models from the 2017 Soccer Prediction Challenge for win/draw/loss prediction.

研究动机与目标

• 评估深度学习模型在预测足球比赛结果（特别是胜/平/负概率与精确比分）方面的表现。
• 通过特征选择算法识别梯度提升树模型在足球比赛预测中的最优特征集。
• 通过利用2023年足球预测挑战赛数据并补充2023年4月4日至13日的比赛数据，弥补公开基准数据集的不足。
• 将深度学习模型的预测性能与既有基线模型（包括投注赔率共识与统计模型）进行比较。
• 探索模型可解释性，并在未来工作中考虑引入专家衍生特征（如投注赔率与球员数据）。

提出的方法

• 训练了一个结合TimesNet（用于时间建模）、Transformer架构（用于序列注意力）与前馈神经网络（用于最终预测）的深度学习模型。
• 采用混合架构，使用嵌入层表示球队ID，并通过带Dropout的多层感知机处理非序列特征。
• 通过三重训练/验证划分的网格搜索法调整超参数，包括嵌入维度、前馈层大小与Dropout率。
• 将原始训练集补充了2023年4月4日至13日期间进行的比赛——这些比赛发生在训练集截止之后、评估期之前。
• 应用特征选择算法识别CatBoost模型中最具预测力的特征，重点关注pi-ratings、进球统计数据与表现指标。
• 根据挑战赛官方评估协议，在精确比分预测与胜/平/负概率预测任务上评估模型性能。

实验结果

研究问题

• RQ1 深度学习模型能否在足球比赛结果预测（特别是胜/平/负概率）方面超越梯度提升树模型？
• RQ2 在使用pi-ratings与派生统计量的情况下，训练梯度提升树模型的最优特征集是什么？
• RQ3 模型在精确比分预测与基于概率的结果预测任务中的表现有何差异？
• RQ4 投注赔率共识模型在胜/平/负概率预测中相对于机器学习模型的性能优势有多大？
• RQ5 使用训练期后比赛数据进行特征增强，能否提升模型的泛化能力与预测稳定性？

主要发现

• 在胜/平/负概率预测中，深度学习模型较投注赔率共识模型低6%，表明在此背景下深度学习的增益有限。
• pi-ratings在CatBoost模型中仍为最有效的特征集，在胜/平/负概率预测中优于其他特征组合。
• 在精确比分预测任务中，Berrar评分与简单统计基线模型的表现优于深度学习与梯度提升树模型。
• CatBoost的最优特征集包括球队特定指标，如EG_HT、GS_avg_HT、point_per_match_HT、win_pct_AT，以及pi_rating_HT/AT。
• 深度学习模型的超参数搜索确定了10层MLP、1维球队嵌入与0.2的Dropout为最优设置。
• 通过补充2023年4月4日至13日的比赛数据进行数据增强，提升了模型的稳定性和性能，有效弥合了训练期与评估期之间的差距。