[论文解读] Machine Learning in Sports: A Case Study on Using Explainable Models for Predicting Outcomes of Volleyball Matches

Abhinav Lalwani, Aman Saraiya+3 more|arXiv (Cornell University)|Jun 18, 2022

Sports Analytics and Performance被引用 8

一句话总结

本研究提出了一种两阶段可解释人工智能（XAI）框架，用于预测巴西排球比赛结果，结合了可解释模型（逻辑回归、BRCG）与事后解释方法（SHAP、ProtoDash）。结果表明，尽管SVM和DNN等黑箱模型具有更高的准确率，但SHAP与ProtoDash能提供忠实且直观的局部解释，与领域逻辑一致，从而提升体育分析中模型的可信度。

ABSTRACT

Machine Learning has become an integral part of engineering design and decision making in several domains, including sports. Deep Neural Networks (DNNs) have been the state-of-the-art methods for predicting outcomes of professional sports events. However, apart from getting highly accurate predictions on these sports events outcomes, it is necessary to answer questions such as "Why did the model predict that Team A would win Match X against Team B?" DNNs are inherently black-box in nature. Therefore, it is required to provide high-quality interpretable, and understandable explanations for a model's prediction in sports. This paper explores a two-phased Explainable Artificial Intelligence(XAI) approach to predict outcomes of matches in the Brazilian volleyball League (SuperLiga). In the first phase, we directly use the interpretable rule-based ML models that provide a global understanding of the model's behaviors based on Boolean Rule Column Generation (BRCG; extracts simple AND-OR classification rules) and Logistic Regression (LogReg; allows to estimate the feature importance scores). In the second phase, we construct non-linear models such as Support Vector Machine (SVM) and Deep Neural Network (DNN) to obtain predictive performance on the volleyball matches' outcomes. We construct the "post-hoc" explanations for each data instance using ProtoDash, a method that finds prototypes in the training dataset that are most similar to the test instance, and SHAP, a method that estimates the contribution of each feature on the model's prediction. We evaluate the SHAP explanations using the faithfulness metric. Our results demonstrate the effectiveness of the explanations for the model's predictions.

研究动机与目标

• 开发一个可靠的机器学习框架，利用历史表现数据预测职业排球比赛结果。
• 通过在体育分析中整合可解释人工智能（XAI）技术，解决深度学习模型可解释性不足的问题。
• 评估SHAP与ProtoDash等事后解释方法在真实体育场景中的忠实性与实际可解释性。
• 比较白箱模型（LogReg、BRCG）与黑箱模型（SVM、DNN）在预测性能与可解释性方面的差异。
• 验证解释方法能否提供有意义且与领域一致的匹配结果预测洞察。

提出的方法

• 本研究采用两阶段XAI方法：首先，训练可解释模型（逻辑回归与BRCG），通过特征重要性与基于规则的决策实现全局可解释性。
• 其次，训练高性能黑箱模型（SVM与DNN），以获得更优的预测准确率。
• 利用SHAP生成事后解释，以估计各特征对模型预测的贡献；利用ProtoDash识别最相似的训练实例（原型）。
• 通过特征重要性与相似度评分，将解释结果与领域直觉及数据模式进行验证。
• 采用忠实性度量对SHAP解释的忠实性进行定量评估，以确保其可靠性。
• 数据通过网络爬虫从8年巴西超级联赛排球比赛获取，特征源自球队排名、表现指标与历史交锋记录。

实验结果

研究问题

• RQ1 逻辑回归与BRCG等可解释模型能否为排球比赛结果提供有意义的全局洞察？
• RQ2 SHAP与ProtoDash等事后解释方法能否为黑箱模型预测生成忠实且直观的解释？
• RQ3 黑箱模型（SVM、DNN）在排球比赛预测中的预测准确率与白箱模型（LogReg、BRCG）相比如何？
• RQ4 SHAP与ProtoDash的解释在多大程度上与领域知识和逻辑预期一致？
• RQ5 基于原型的解释（ProtoDash）能否通过展示相似的历史比赛来增强人类对预测结果的信任？

主要发现

• 黑箱模型（SVM与DNN）的预测准确率高于白箱模型（LogReg与BRCG），证实其在比赛结果预测中具有更优性能。
• SHAP解释表现出高度忠实性，表明该方法能可靠估计各特征对模型预测的贡献。
• 预测主队获胜的关键特征包括：主队上一赛季的强势排名与客队上一赛季的低迷排名，这与领域预期一致。
• ProtoDash将Prototype-1识别为最相似的历史比赛，19个特征中有17个显示相似度超过50%，进一步强化了模型的局部可解释性。
• 模型预测Canoas对阵America Volei的胜率为0.84，SHAP分析表明主队上一赛季排名与场均得分是推动该预测的关键因素。
• SHAP与ProtoDash的结合提供了互补性洞察：SHAP量化了特征影响，而ProtoDash通过展示与历史比赛的上下文相似性，增强了人类对预测结果的信心。