[논문 리뷰] Modelling Competitive Sports: Bradley-Terry-Élő Models for Supervised and On-Line Learning of Paired Competition Outcomes

Franz J. Király, Zhaozhi Qian|arXiv (Cornell University)|2017. 01. 27.

Sports Analytics and Performance참고 문헌 39인용 수 13

한 줄 요약

이 논문은 브래드리-테리 및 엘로 평가 체계의 장점을 통합하는 통합된 지도 학습 프레임워크인 구조적 로그오즈 모델을 제안한다. 이는 특징, 배치 학습 및 온라인 학습을 지원하며 계산 효율성을 유지하면서도 쌍별 경기 결과에 대한 확률적 예측을 가능하게 한다. 영국 프리미어리그 데이터에서 최신 기술 수준의 예측 성능을 달성하며, 베팅 오즈와 매우 유사한 성능을 보였다.

ABSTRACT

Prediction and modelling of competitive sports outcomes has received much recent attention, especially from the Bayesian statistics and machine learning communities. In the real world setting of outcome prediction, the seminal Élő update still remains, after more than 50 years, a valuable baseline which is difficult to improve upon, though in its original form it is a heuristic and not a proper statistical "model". Mathematically, the Élő rating system is very closely related to the Bradley-Terry models, which are usually used in an explanatory fashion rather than in a predictive supervised or on-line learning setting. Exploiting this close link between these two model classes and some newly observed similarities, we propose a new supervised learning framework with close similarities to logistic regression, low-rank matrix completion and neural networks. Building on it, we formulate a class of structured log-odds models, unifying the desirable properties found in the above: supervised probabilistic prediction of scores and wins/draws/losses, batch/epoch and on-line learning, as well as the possibility to incorporate features in the prediction, without having to sacrifice simplicity, parsimony of the Bradley-Terry models, or computational efficiency of Élő's original approach. We validate the structured log-odds modelling approach in synthetic experiments and English Premier League outcomes, where the added expressivity yields the best predictions reported in the state-of-art, close to the quality of contemporary betting odds.

연구 동기 및 목표

• 브래드리-테리 및 엘로 모델을 하나의 지도 학습 프레임워크로 통합하여 경쟁 스포츠 결과 예측에 활용한다.
• 특징과 구조적 학습을 활용하여 승리, 패배, 무승부 및 스코어의 확률적 예측을 가능하게 한다.
• 배치 학습과 온라인 학습을 모두 지원하면서도 계산 효율성과 모델의 단순성(파라미터 수의 최소화)을 유지한다.
• 수학적으로 엄밀한 통계 모델을 통해 히우리스틱 방식의 엘로 체계를 개선함으로써 단순성과 표현력을 유지한다.
• 합성 데이터와 실제 영국 프리미어리그 경기 결과에 대한 모델 성능을 평가한다.

제안 방법

• 모델은 낮은 질량의 행렬 분해 설정에서 팀의 강도를 잠재 벡터로 표현하는 구조적 로그오즈 모델을 사용한다.
• 팀 간 로그오즈의 차이에 로지스틱 연결 함수를 적용하여 결과의 확률을 수식화함으로써 확률적 분류를 가능하게 한다.
• 관측된 결과의 로그우도에 대한 확률적 경사 하강법을 통해 온라인 학습을 지원하여 실시간 업데이트를 가능하게 한다.
• 과적합 방지를 위해 정규화를 적용한 최대우도 추정을 통해 배치 학습을 구현한다.
• 로거스오즈 방정식에 선형 예측자로서 특징(예: 홈 이점, 팀의 신규성 등)을 통합한다.
• 데이터가 적은 환경에서 일반화 성능을 향상시키기 위해 핵심 노름 정규화를 사용하여 낮은 질량의 행렬 추정을 수행한다.

실험 결과

연구 질문

• RQ1 히우리스틱 방식의 엘로 체계와 통계적으로 엄밀한 브래드리-테리 모델 간 격차를 통합된 모델이 메울 수 있는가?
• RQ2 특징과 구조적 학습을 통합함으로써 기존의 평가 체계를 뛰어넘는 예측 정확도 향상이 가능한가?
• RQ3 실제 스포츠 데이터인 영국 프리미어리그에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ4 모델의 예측 정확도가 베팅 시장 오즈와 비교해 어떻게 나타나는가?
• RQ5 결과 예측이 본질적으로 예측 불가능성에 의해 제한될 경우, 경기 결과에 영향을 미치는 주요 요인은 무엇인가?

주요 결과

• 구조적 로그오즈 모델은 영국 프리미어리그 경기 결과에 대해 최신 기술 수준에서 보고된 바 중 가장 뛰어난 예측 성능을 달성했다.
• 모델의 예측은 현대의 베팅 시장 오즈와 거의 동일한 정확도를 보이며, 높은 校정성(calibration)과 신뢰성(robustness)을 나타낸다.
• 관측 가능한 예측 변수로는 팀 실력, 홈 이점, 팀의 신규성의 세 가지 요소만 유의미한 영향을 미치는 것으로 확인되었으며, 나머지 요소들의 영향은 제한적임을 시사한다.
• 다양한 특징 탐색에도 불구하고 추가적인 영향력 있는 요소는 발견되지 않았으며, 이는 리그 내에서 본질적으로 예측 불가능성이 존재함을 시사한다.
• 배치 학습과 온라인 학습 모두에서 모델의 성능이 안정적으로 유지되어 강건성과 확장성(스케일러빌리티)을 입증했다.
• 합성 실험 결과, 특히 낮은 질량과 정규화 설정에서의 경우, 모델이 기저 구조를 잘 복원할 수 있음을 확인했다.