[논문 리뷰] Predicting Football Match Outcomes with eXplainable Machine Learning and the Kelly Index

Yiming Ren, Teo Sušnjak|arXiv (Cornell University)|2022. 11. 28.

Sports Analytics and Performance인용 수 5

한 줄 요약

이 논문은 예측 가능성 수준에 따라 경기를 분류하는 킬리 인덱스를 사용하는 새로운 축구 경기 예측 프레임워크를 제안한다. 이후 각 범주에 대해 설명 가능한 기계학습 모델을 적용한다. 모델 신뢰도 임계값과 킬리 기준을 조합함으로써, 쉬운 예측 경기에서 17%의 수익률을 달성하며, 도박사 기준을 초월하고 위험 최소화된 수익성 있는 베팅 전략을 입증한다.

ABSTRACT

In this work, a machine learning approach is developed for predicting the outcomes of football matches. The novelty of this research lies in the utilisation of the Kelly Index to first classify matches into categories where each one denotes the different levels of predictive difficulty. Classification models using a wide suite of algorithms were developed for each category of matches in order to determine the efficacy of the approach. In conjunction to this, a set of previously unexplored features were engineering including Elo-based variables. The dataset originated from the Premier League match data covering the 2019-2021 seasons. The findings indicate that the process of decomposing the predictive problem into sub-tasks was effective and produced competitive results with prior works, while the ensemble-based methods were the most effective. The paper also devised an investment strategy in order to evaluate its effectiveness by benchmarking against bookmaker odds. An approach was developed that minimises risk by combining the Kelly Index with the predefined confidence thresholds of the predictive models. The experiments found that the proposed strategy can return a profit when following a conservative approach that focuses primarily on easy-to-predict matches where the predictive models display a high confidence level.

연구 동기 및 목표

• 예측 가능성 수준에 따라 문제를 하위 작업으로 분해함으로써 축구 경기 결과 예측 정확도를 향상시키는 것.
• 킬리 인덱스와 모델 신뢰도 임계값을 활용한 위험 최소화 투자 전략을 개발하는 것.
• 기본 도박사 배당률과 비교하여 기계학습 기반 베팅 전략의 수익성을 평가하는 것.
• 엘로 기반 변수를 포함한 신규 특징을 도입하고, 설명 가능한 인공지능 기법을 적용하여 모델의 해석 가능성 향상시키는 것.
• 기존 방법과의 비교를 통해 장기적인 수익성과 보수적인 베팅 기준을 입증하는 것.

제안 방법

• 킬리 인덱스를 사용하여 도박 배당률을 기반으로 축구 경기를 세 가지 범주(유형 1–3)로 분류하며, 예측 난이도가 점차 증가하는 수준을 나타낸다.
• 앙상블 기법을 포함한 다양한 기계학습 알고리즘을 각 범주에 대해 훈련하여 경기 결과(승리/무승부/패배)를 예측한다.
• 기존 통계를 초월해 성능을 향상시키기 위해 엘로 기반 지표를 포함한 신규 특징을 설계한다.
• 모델의 신뢰도 수준을 임계값으로 사용하여 베팅 여부를 결정함으로써, 높은 확신을 가진 예측만 선택한다.
• 핀클턴의 배당률을 사용한 시뮬레이션 베팅 시나리오를 구현하며, 수익률(ROI)은 이윤을 총 투자액수로 나누어 계산한다.
• 최종 전략은 킬리 인덱스를 이용한 경기 분류와 신뢰도 임계값을 조합하여 장기적 수익을 극대화하고 위험을 최소화한다.

실험 결과

연구 질문

• RQ1 킬리 인덱스를 기반으로 축구 경기 예측 문제를 하위 작업으로 분해하면 모델 성능과 수익성 향상에 기여하는가?
• RQ2 모델 신뢰도 임계값과 킬리 인덱스를 조합하면 지속 가능하고 위험 최소화된 베팅 전략이 되는가?
• RQ3 엘로 기반 변수와 같은 신규 특징은 축구 경기 결과 모델링의 예측 정확도를 향상시키는가?
• RQ4 기본 도박사 배당률과 비교했을 때 제안된 기계학습 및 킬리 기반 전략은 수익성이 있는가?
• RQ5 앙상블 기반 모델은 예측 가능성 수준에 관계없이 다른 알고리즘보다 축구 경기 결과 예측에서 뛰어난 성능을 보이는가?

주요 결과

• 킬리 인덱스를 사용해 경기를 세 가지 예측 가능성 수준으로 분류함으로써 모델 성능 향상과 전략 설계에 상당한 기여를 하였다.
• 앙상블 기반 기계학습 모델이 모든 다른 알고리즘을 압도하며, 이전 연구들과 경쟁 가능한 성과를 달성하였다.
• 예측이 가장 쉬운 유형 1 경기에서 70%의 신뢰도 임계값을 적용한 베팅 전략은 2019–2021 프리미어십 리그 시즌 기간 동안 17%의 수익률을 기록하였다.
• 신뢰도와 경기 유형에 기반한 모든 전략 중에서, 오직 유형 1, 70% 임계값 전략만이 지속적으로 수익성을 보였으며, 나머진 모두 음수 수익률을 기록하였다.
• 모든 경기와 여러 도박사 대비 기준 전략을 사용한 기존 전략은 -6.7%에서 -1.1%의 음수 수익률을 기록한 반면, 제안된 방법은 이를 모두 초월하였다.
• 설명 가능한 인공지능 기법의 통합을 통해 투명한 모델 추론이 가능해져 예측에 대한 신뢰도와 해석 가능성 향상에 기여하였다.