[논문 리뷰] Luck is Hard to Beat: The Difficulty of Sports Prediction

Raquel Aoki, Renato Assunção외 1명|arXiv (Cornell University)|2017. 06. 08.

Sports Analytics and Performance참고 문헌 26인용 수 8

한 줄 요약

이 논문은 농구, 축구, 배구, 손잡이농구의 198개 리그에서 1,503개 시즌의 데이터를 바탕으로 스포츠 리그에서 운과 기술의 상대적 영향을 정량화하기 위해 기술 계수 $\phi$를 도입한다. 확률적 그래픽 모델을 제안하여 결과를 기술과 운의 성분으로 분해하며, NBA에서는 약탈팀이 36%의 확률로 승리함을 드러내어 조건이 매우 경쟁적인 스포츠에서도 운이 지배적인 요소임을 시사한다.

ABSTRACT

Predicting the outcome of sports events is a hard task. We quantify this difficulty with a coefficient that measures the distance between the observed final results of sports leagues and idealized perfectly balanced competitions in terms of skill. This indicates the relative presence of luck and skill. We collected and analyzed all games from 198 sports leagues comprising 1503 seasons from 84 countries of 4 different sports: basketball, soccer, volleyball and handball. We measured the competitiveness by countries and sports. We also identify in each season which teams, if removed from its league, result in a completely random tournament. Surprisingly, not many of them are needed. As another contribution of this paper, we propose a probabilistic graphical model to learn about the teams' skills and to decompose the relative weights of luck and skill in each game. We break down the skill component into factors associated with the teams' characteristics. The model also allows to estimate as 0.36 the probability that an underdog team wins in the NBA league, with a home advantage adding 0.09 to this probability. As shown in the first part of the paper, luck is substantially present even in the most competitive championships, which partially explains why sophisticated and complex feature-based models hardly beat simple models in the task of forecasting sports' outcomes.

연구 동기 및 목표

• 스포츠 리그 결과에서 기술과 운의 상대적 역할을 측정하는 일반적 프레임워크를 개발하는 것.
• 관측된 리그 결과가 순수하게 무작위(운 기반) 분포에서 얼마나 벗어나 있는지를 정량화하는 것.
• 어떤 팀을 제거했을 때 리그 결과가 통계적으로 무작위가 되는지 확인하여 그 팀들의 지나친 영향력을 특정하는 것.
• 팀의 기술 수준을 추정하고 경기 결과에서 운과 기술의 기여도를 분해하는 확률적 그래픽 모델을 구축하는 것.
• 팀 수준의 특성(예: 급여, 로스터 일관성 등)이 스포츠 대회에서 기술 수준과 예측 가능성과 어떻게 관련되어 있는지 조사하는 것.

제안 방법

• 관측된 리그 최종 점수 분포와 순수하게 무작위(기본 기술 없음) 분포 사이의 거리를 측정하는 기술 계수 $\phi$를 도입한다.
• 특정 리그에서 기술이 통계적으로 유의미한 역할을 하는지 확인하기 위해 $\phi$에 대한 유의성 검정을 적용한다.
• 경기 결과와 맥락적 특성을 기반으로 팀별 기술 매개변수($\alpha_i$)를 추정하기 위해 확률적 그래픽 모델을 사용한다.
• 약탈팀 승리 확률($\mathbb{P}(U)$)을 홈 이점($\mathbb{P}(U|H)$)과 원정 전술($\mathbb{P}(U|A)$) 조건부로 모델링하고, 제거된 팀($\mathbb{P}(U|H,R+)$)에 대한 추가 조건부를 포함한다.
• 컨퍼런스, 상위 5명의 평균 급여, 팀 PER, 변동성, 로스터 일관성, 팀 규모 등의 특성을 통합하여 기술 수준을 예측하고, 승리 수와의 상관계수를 통해 모델 성능을 검증한다.

실험 결과

연구 질문

• RQ1 다양한 스포츠에서 전문 스포츠 리그의 결과가 기술에 의해 결정되는 정도는 어느 정도이며, 운에 의해 결정되는 정도는 얼마나 되는가?
• RQ2 어떤 팀을 리그에서 제거했을 때 경기 결과가 통계적으로 무작위와 구분되지 않게 되는가?
• RQ3 NBA와 같은 주요 리그에서 약탈팀이 승리할 기초 확률은 얼마이며, 홈 이점은 이 확률에 어떤 영향을 미치는가?
• RQ4 팀 수준의 특성(예: 급여, 로스터 일관성 등)이 추정된 기술 수준과 실제 승률과 어떻게 상관관계가 있는가?
• RQ5 확률적 그래픽 모델이 경기 결과에서 운과 기술의 상대적 기여도를 효과적으로 분해할 수 있는가?

주요 결과

• 기술 계수 $\phi$는 네 가지 스포츠 중 농구가 가장 경쟁적인 스포츠임을 드러내며, 그 다음으로 배구, 축구, 손잡이농구 순이다.
• NBA에서는 약탈팀이 승리할 확률이 0.36로, 이는 운이 경기 결과의 약 36%를 차지함을 시사한다.
• 홈 이점은 약탈팀의 승리 확률을 0.18 증가시켜 원정 시 0.27에서 홈 시 0.45로 상승시킨다.
• 프리메라 디비시온 스페인 축구 리그에서 단지 3개 팀만 제거되어도 경기 결과가 통계적으로 무작위가 되며, 이는 그 팀들의 지나친 영향력을 시사한다.
• 확률적 그래픽 모델은 NBA 정규 시즌에서 추정된 팀 기술 수준과 실제 승리 수 사이에 상관계수 0.7399를 달성한다.
• 가장 기량 있는 팀들을 제거한 후에는 홈 이점이 약탈팀 승리에 미치는 영향이 크게 줄어들며, $\mathbb{P}(U|H,R+)$는 0.13~0.17로 감소한다. 이는 홈 이점이 더 균형 잡힌 리그에서는 덜 영향을 미친다는 것을 시사한다.