[논문 리뷰] Evaluating Soccer Match Prediction Models: A Deep Learning Approach and Feature Optimization for Gradient-Boosted Trees

Calvin Yeung, Rory Bunker외 2명|arXiv (Cornell University)|2023. 09. 26.

Sports Analytics and Performance인용 수 4

한 줄 요약

이 연구는 2023년 축구 예측 챌린지 데이터셋을 사용하여 딥러닝 및 기울기 부스팅 트리 모델의 축구 경기 결과 예측 성능을 평가한다. 연구는 TimesNet, Transformer 및 피드포워드 네트워크를 조합한 하이브리드 딥러닝 모델을 제안하며, 선택 알고리즘을 통해 특징을 최적화한다. 결과적으로 CatBoost에 대해 pi-ratings가 최적임을 확인했으나, 딥러닝 모델은 승/무/패 확률 예측에서 베팅 공시 모델 대비 6% 뒤처지는 성능을 보였다.

ABSTRACT

Machine learning models have become increasingly popular for predicting the results of soccer matches, however, the lack of publicly-available benchmark datasets has made model evaluation challenging. The 2023 Soccer Prediction Challenge required the prediction of match results first in terms of the exact goals scored by each team, and second, in terms of the probabilities for a win, draw, and loss. The original training set of matches and features, which was provided for the competition, was augmented with additional matches that were played between 4 April and 13 April 2023, representing the period after which the training set ended, but prior to the first matches that were to be predicted (upon which the performance was evaluated). A CatBoost model was employed using pi-ratings as the features, which were initially identified as the optimal choice for calculating the win/draw/loss probabilities. Notably, deep learning models have frequently been disregarded in this particular task. Therefore, in this study, we aimed to assess the performance of a deep learning model and determine the optimal feature set for a gradient-boosted tree model. The model was trained using the most recent five years of data, and three training and validation sets were used in a hyperparameter grid search. The results from the validation sets show that our model had strong performance and stability compared to previously published models from the 2017 Soccer Prediction Challenge for win/draw/loss prediction.

연구 동기 및 목표

• 딥러닝 모델이 축구 경기 결과, 특히 승/무/패 확률 및 정확한 스코어 예측에서의 성능을 평가하는 것.
• 특징 선택 알고리즘을 활용하여 기울기 부스팅 트리 모델에 최적의 특징 세트를 식별하는 것.
• 공개적으로 이용 가능한 벤치마크 데이터셋의 부족 문제를 해결하기 위해 2023년 축구 예측 챌린지 데이터를 활용하고, 2023년 4월 4일부터 13일까지의 경기를 훈련 세트에 보완하는 것.
• 딥러닝 모델의 예측 성능을 기존 기준 모델(베팅 오dds 공시 및 통계 모델 포함)과 비교하는 것.
• 모델의 해석 가능성과 향후 작업에서 전문가가 도출한 특징(예: 베팅 오드, 선수 데이터 등)을 통합할 잠재력을 탐색하는 것.

제안 방법

• 시간적 모델링을 위해 TimesNet, 순서열 주목력에 적합한 Transformer 아키텍처, 최종 예측을 위한 피드포워드 신경망을 조합한 딥러닝 모델을 훈련시킴.
• 팀 ID에 대한 임bedding 레이어와 드롭아웃을 적용한 다층 퍼셉트론을 활용한 비순차적 특징 처리를 포함한 하이브리드 아키텍처를 구현.
• 하이퍼파ram터 최적화를 위해 3개의 훈련/검증 분할을 활용한 그리드 서치를 실시하며, 임베딩 차원, 피드포워드 레이어 크기, 드롭아웃 비율 등을 조정.
• 원래의 훈련 세트에 2023년 4월 4일부터 13일까지의 경기를 추가함 — 훈련 세트 종료 이후이지만 평가 기간 이전의 데이터.
• CatBoost에 대한 최적의 특징을 식별하기 위해 특징 선택 알고리즘을 적용하며, pi-ratings, 골 통계, 성과 지표에 중점을 둠.
• 챌린지의 공식 평가 프로토콜에 따라 정확한 스코어 예측 및 승/무/패 확률 예측 작업 모두에서 모델을 평가함.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 축구 경기 결과, 특히 승/무/패 확률 예측에서 기울기 부스팅 트리 모델을 초월할 수 있는가?
• RQ2 pi-ratings 및 파생 통계를 포함한 특징을 사용할 경우, 기울기 부스팅 트리 모델의 최적 특징 세트는 무엇인가?
• RQ3 정확한 스코어 예측과 확률 기반 결과 예측 간 모델 성능의 차이는 어떻게 변화하는가?
• RQ4 베팅 오드 공시 모델이 W/D/L 확률 예측에서 기계학습 모델을 얼마나 뛰어나게 성과를 내는가?
• RQ5 훈련 후 기간의 경기 데이터를 활용한 특징 보완이 모델의 일반화 능력 및 예측 안정성 향상에 얼마나 기여하는가?

주요 결과

• 딥러닝 모델은 승/무/패 확률 예측에서 베팅 오드 공시 모델 대비 6% 뒤처져, 이 분야에서 딥러닝의 성과 향상이 제한적임을 시사함.
• CatBoost 모델에 대해 pi-ratings가 가장 효과적인 특징 세트로, 다른 특징 조합보다 승/무/패 확률 예측에서 뛰어난 성능을 보임.
• 정확한 스코어 예측 과제에서는 Berrar ratings와 단순 통계 기반 베이스라인 모델이 딥러닝 및 기울기 부스팅 트리 모델을 모두 앞서나감.
• CatBoost의 최적 특징 세트에는 EG_HT, GS_avg_HT, point_per_match_HT, win_pct_AT, pi_rating_HT/AT 등의 팀별 지표가 포함됨.
• 딥러닝 모델의 하이퍼파라미터 서치 결과, MLP에 10개의 레이어, 1차원 팀 임베딩, 0.2 드롭아웃 비율이 최적 설정으로 확인됨.
• 2023년 4월 4일부터 13일까지의 경기 데이터를 활용한 데이터 증강을 통해 모델의 안정성과 성능이 향상되었으며, 이는 훈련 및 평가 기간 간 격차를 메우는 데 기여함.