[論文レビュー] Machine Learning in Sports: A Case Study on Using Explainable Models for Predicting Outcomes of Volleyball Matches

Abhinav Lalwani, Aman Saraiya+3 more|arXiv (Cornell University)|Jun 18, 2022

Sports Analytics and Performance被引用数 8

ひとこと要約

本研究では、解釈可能なモデル（ロジスティック回帰、BRCG）と後処理説明手法（SHAP、ProtoDash）を併用した二段階の説明可能なAI（XAI）フレームワークを提案し、ブラジルバレーボールリーグの試合結果を予測する。ブラックボックスモデル（SVM、DNN）は高い精度を達成するが、SHAPとProtoDashは、分野の論理と整合する忠実で直感的な局所的説明を提供し、スポーツ分析分野におけるモデルの信頼性を高めることを示した。

ABSTRACT

Machine Learning has become an integral part of engineering design and decision making in several domains, including sports. Deep Neural Networks (DNNs) have been the state-of-the-art methods for predicting outcomes of professional sports events. However, apart from getting highly accurate predictions on these sports events outcomes, it is necessary to answer questions such as "Why did the model predict that Team A would win Match X against Team B?" DNNs are inherently black-box in nature. Therefore, it is required to provide high-quality interpretable, and understandable explanations for a model's prediction in sports. This paper explores a two-phased Explainable Artificial Intelligence(XAI) approach to predict outcomes of matches in the Brazilian volleyball League (SuperLiga). In the first phase, we directly use the interpretable rule-based ML models that provide a global understanding of the model's behaviors based on Boolean Rule Column Generation (BRCG; extracts simple AND-OR classification rules) and Logistic Regression (LogReg; allows to estimate the feature importance scores). In the second phase, we construct non-linear models such as Support Vector Machine (SVM) and Deep Neural Network (DNN) to obtain predictive performance on the volleyball matches' outcomes. We construct the "post-hoc" explanations for each data instance using ProtoDash, a method that finds prototypes in the training dataset that are most similar to the test instance, and SHAP, a method that estimates the contribution of each feature on the model's prediction. We evaluate the SHAP explanations using the faithfulness metric. Our results demonstrate the effectiveness of the explanations for the model's predictions.

研究の動機と目的

• 歴史的パフォーマンスデータを用いて、プロバレーボール試合の結果を予測する信頼性の高い機械学習フレームワークを開発すること。
• 深層学習モデルにおける解釈不能性の欠如に応えるために、スポーツ分析分野に説明可能なAI（XAI）技術を統合すること。
• 実世界のスポーツ環境における、後処理説明手法（SHAP、ProtoDash）の忠実性と実用的解釈可能性を評価すること。
• 白ボックスモデル（LogReg、BRCG）とブラックボックスモデル（SVM、DNN）の予測性能と解釈可能性を比較すること。
• 説明手法が、意味のある分野に整合したインサイトを提供するかどうかを検証すること。

提案手法

• 本研究では、二段階のXAIアプローチを採用する。まず、特徴量の重要度とルールベースの意思決定を通じてグローバルな解釈性を提供する解釈可能なモデル（ロジスティック回帰およびBRCG）を訓練する。
• 第二に、優れた予測精度を達成するため、高性能なブラックボックスモデル（SVMおよびDNN）を訓練する。
• 後処理説明は、SHAPを用いて特徴量の寄与度を推定し、ProtoDashを用いて最も類似した訓練インスタンス（プロトタイプ）を特定する。
• 特徴量の重要度と類似度スコアを用いて、説明が分野の直感とデータパターンに整合するかを検証する。
• SHAP説明の忠実性は、信頼性を保証するため、忠実度メトリクスを用いて定量的に評価する。
• データは、8年間分のブラジル・スーパーリーガバレーボール試合の記録をウェブスクレイピングにより収集し、チーム順位、パフォーマンス指標、対戦成績から特徴量を抽出した。

実験結果

リサーチクエスチョン

• RQ1 ロジスティック回帰やBRCGといった解釈可能なモデルは、バレーボール試合結果に対する意味のあるグローバルなインサイトを提供できるか？
• RQ2 SHAP や ProtoDash といった後処理説明手法は、スポーツ分野におけるブラックボックスモデルの予測に対して、忠実で直感的な説明を生成できるか？
• RQ3 ブラックボックスモデル（SVM、DNN）の予測精度は、白ボックスモデル（LogReg、BRCG）と比べてどの程度高いか？
• RQ4 SHAP や ProtoDash による説明は、分野知識や論理的期待とどの程度整合するか？
• RQ5 プロトタイプベースの説明（ProtoDash）は、類似した歴史的試合を提示することで、人間の信頼を高められるか？

主な発見

• ブラックボックスモデル（SVMおよびDNN）は、白ボックスモデル（LogRegおよびBRCG）よりも高い予測精度を達成した。これは、試合結果予測において、これらのモデルが優れた性能を示していることを確認した。
• SHAP説明は高い忠実度を示し、各特徴量がモデルの予測にどの程度寄与しているかを信頼性を持って推定できることを裏付けた。
• ホームチームの勝利を予測する上で、寄与度の高い特徴量は、ホームチームの前シーズンの好成績と、アウェイチームの前シーズンの悪成績であり、分野の期待と整合していた。
• ProtoDashは、最も類似した歴史的試合として「プロトタイプ-1」を特定し、19個の特徴量のうち17個が50％以上の類似度を示した。これにより、モデルの局所的解釈性が強化された。
• モデルは、カノアス対アメリカ・ヴォレイ戦で0.84の勝利確率を予測した。SHAPでは、ホームチームの前シーズン順位と平均得点が、この予測の主な駆動要因であることが示された。
• SHAPとProtoDashの組み合わせは補完的なインサイトを提供した。SHAPは特徴量の影響を定量的に評価したが、ProtoDashは過去の類似試合との文脈的類似性を提示し、予測に対する人間の信頼を高めた。