[논문 리뷰] Machine Learning in Sports: A Case Study on Using Explainable Models for Predicting Outcomes of Volleyball Matches

Abhinav Lalwani, Aman Saraiya외 3명|arXiv (Cornell University)|2022. 06. 18.

Sports Analytics and Performance인용 수 8

한 줄 요약

이 연구는 브라질 빌리지볼리 리그의 경기 결과를 예측하기 위해 해석 가능한 모델(Logistic Regression, BRCG)과 후행 해석 방법(SHAP, ProtoDash)을 결합한 이중 단계의 해석 가능한 인공지능(XAI) 프레임워크를 제안한다. 블랙박스 모델인 SVM과 DNN이 더 높은 정확도를 달성하는 반면, SHAP와 ProtoDash는 도메인 논리와 일치하는 신뢰할 수 있고 직관적인 국소적 해석을 제공함으로써 스포츠 분석 분야에서 모델의 신뢰성을 향상시킨다.

ABSTRACT

Machine Learning has become an integral part of engineering design and decision making in several domains, including sports. Deep Neural Networks (DNNs) have been the state-of-the-art methods for predicting outcomes of professional sports events. However, apart from getting highly accurate predictions on these sports events outcomes, it is necessary to answer questions such as "Why did the model predict that Team A would win Match X against Team B?" DNNs are inherently black-box in nature. Therefore, it is required to provide high-quality interpretable, and understandable explanations for a model's prediction in sports. This paper explores a two-phased Explainable Artificial Intelligence(XAI) approach to predict outcomes of matches in the Brazilian volleyball League (SuperLiga). In the first phase, we directly use the interpretable rule-based ML models that provide a global understanding of the model's behaviors based on Boolean Rule Column Generation (BRCG; extracts simple AND-OR classification rules) and Logistic Regression (LogReg; allows to estimate the feature importance scores). In the second phase, we construct non-linear models such as Support Vector Machine (SVM) and Deep Neural Network (DNN) to obtain predictive performance on the volleyball matches' outcomes. We construct the "post-hoc" explanations for each data instance using ProtoDash, a method that finds prototypes in the training dataset that are most similar to the test instance, and SHAP, a method that estimates the contribution of each feature on the model's prediction. We evaluate the SHAP explanations using the faithfulness metric. Our results demonstrate the effectiveness of the explanations for the model's predictions.

연구 동기 및 목표

• 역사적 성과 데이터를 활용해 프로 빌리지볼리 경기 결과를 예측하기 위한 신뢰할 수 있는 기계학습 프레임워크 개발.
• 딥러닝 모델의 해석 불가능성 문제를 해결하기 위해 스포츠 분석 분야에 해석 가능한 인공지능(XAI) 기법 통합.
• 실제 스포츠 환경에서 SHAP 및 ProtoDash와 같은 후행 해석 방법의 충실도와 실용적 해석 가능성 평가.
• 화이트박스 모델(LogReg, BRCG)과 블랙박스 모델(SVM, DNN)의 예측 성능 및 해석 가능성 비교.
• 해석 방법이 도메인 일관성 있는 통찰을 제공함을 검증함.

제안 방법

• 연구는 이중 단계 XAI 접근법을 사용한다: 첫째, 해석 가능한 모델(Logistic Regression 및 BRCG)을 학습시켜 특성 기여도와 규칙 기반 결정을 통해 글로벌 해석 가능성을 확보한다.
• 둘째, 뛰어난 예측 정확도를 확보하기 위해 고성능 블랙박스 모델(SVM 및 DNN)을 학습시킨다.
• 후행 해석은 SHAP를 통해 특성 기여도를 추정하고, ProtoDash를 통해 가장 유사한 학습 인스턴스(프로토타입)를 식별한다.
• 특성 기여도 및 유사도 점수를 활용해 해석의 타당성을 도메인 직관과 데이터 패턴에 대비하여 검증한다.
• SHAP 해석의 충실도는 신뢰성 확보를 위한 정량적 충실도 지표를 사용해 평가된다.
• 데이터는 웹 스크래핑을 통해 8년 간의 브라질 슈퍼리가 빌리지볼리 경기에서 수집되었으며, 팀 순위, 성과 지표, 헤드투헤드 기록에서 유도된 특성들이 포함된다.

실험 결과

연구 질문

• RQ1 Logistic Regression 및 BRCG와 같은 해석 가능한 모델이 빌리지볼리 경기 결과에 대한 의미 있는 글로벌 통찰을 제공할 수 있는가?
• RQ2 SHAP 및 ProtoDash와 같은 후행 해석 방법이 스포츠 분야의 블랙박스 모델 예측에 대해 충실하고 직관적인 해석을 생성할 수 있는가?
• RQ3 블랙박스 모델(SVM, DNN)의 예측 정확도가 빌리지볼리 경기 예측에서 화이트박스 모델(LogReg, BRCG)보다 높은가?
• RQ4 SHAP 및 ProtoDash의 해석이 도메인 지식과 논리적 기대에 얼마나 잘 부합하는가?
• RQ5 프로토타입 기반 해석(ProtoDash)이 유사한 이전 경기를 보여줌으로써 인간의 신뢰를 증진시킬 수 있는가?

주요 결과

• 블랙박스 모델(SVM 및 DNN)은 화이트박스 모델(LogReg 및 BRCG)보다 더 높은 예측 정확도를 확보하여, 경기 결과 예측에서 뛰어난 성능을 보임을 확인했다.
• SHAP 해석은 높은 충실도를 보였으며, 이는 각 특성이 모델 예측에 기여하는 방식을 신뢰성 있게 추정함을 시사한다.
• 홈팀 승리 예측에 가장 기여한 특성은 홈팀의 이전 시즌 상위 순위와 원정팀의 이전 시즌 열악한 순위였으며, 이는 도메인 기대와 일치한다.
• ProtoDash는 프로토타입-1을 가장 유사한 이전 경기로 식별했으며, 19개 특성 중 17개가 50% 이상의 유사도를 보였고, 이는 모델의 국소적 해석 가능성 강화를 뒷받침한다.
• 모델은 캐노아스가 아메리카 빌리지에 승리할 확률 0.84를 예측했으며, SHAP 분석에 따르면 홈팀의 이전 시즌 순위와 평균 득점 수가 이 예측의 주요 결정 요소로 작용했다.
• SHAP와 ProtoDash의 조합은 상호보완적인 통찰을 제공했다: SHAP는 특성 영향의 정량적 평가를 제공했고, ProtoDash는 과거 유사 경기와의 맥락적 유사성을 제공함으로써 인간의 예측에 대한 신뢰를 높였다.