[논문 리뷰] iWinRNFL: A Simple, Interpretable & Well-Calibrated In-Game Win Probability Model for NFL

Konstantinos Pelechrinis|arXiv (Cornell University)|2017. 04. 01.

Sports Analytics and Performance참고 문헌 7인용 수 3

한 줄 요약

이 논문은 7개 시즌의 플레이-바이-플레이 데이터에서 유래한 10개의 게임 상태 특징을 사용하여 NFL 내부에서의 승리 확률을 예측하는 단순하고 해석 가능하며 잘 校정된 로지스틱 회귀 모델인 iWinRNFL을 소개한다. 이 모델은 승리 팀을 예측하는 데 75%의 정확도를 기록하며, 기준 전경우 승리 예측 모델보다 유의미하게 뛰어나며, 모든 신뢰 수준에서 잘 校정된 확률을 유지한다. 더 복잡한 모델들(예: 신경망 또는 베이지안 분류기)에 비해 유의미한 성능 향상이 없다.

ABSTRACT

During the last few sports seasons a lot of discussion has been generated for the several, high-profile, "comebacks" that were observed in almost all sports. The Cavaliers won the championship after being down 3-1 in the 2016 NBA finals' series against the Golden State Warriors, which was exactly the case for Chicago Cubs and the World Series. The Patriots won the Super Bowl in 2016 even though they were trailing by 25 points late in the third quarter, while FC Barcelona in the top-16 round of the 2016-17 Champions League scored 3 goals during the last 7 minutes of the game (including stoppage time) against PSG to advance in the tournament. This has brought the robustness and accuracy of the various probabilistic prediction models under high scrutiny. Many of these models are proprietary, which makes it hard to evaluate. In this paper, we build a simple and open, yet robust and well-calibrated, in-game probability model for predicting the winner in an NFL (iWinRNFL) game. In particular, we build a logistic regression model that utilizes a set of 10 variables to predict the running win probability for the home team. We train our model using detailed play-by-play data from the last 7 NFL seasons obtained through the league's API. Our results indicate that in 75% of the cases iWinRNFL provides an accurate winner projection, as compared to a 63% accuracy of a baseline pre-game win probability model. Most importantly the probabilities that iWinRNFL provides are well-calibrated. Finally, we have also evaluated more complex, non-linear, models using the same set of features, without any significant improvement in performance.

연구 동기 및 목표

• 내부 승리 확률 예측 모델을 투명하고 개방적이며 해석 가능하도록 개발하여, 뒤처진 팀의 승리 기대치에 대한 과신을 방지한다.
• 단순한 일반선형 모델이 복잡한 비선형 모델과 비교하여 NFL 경기 결과 예측 성능을 유사하게 달성할 수 있는지 평가한다.
• 모델이 예측한 확률이 전체 승리 확률 범위에서 잘 校정되어 있음을 보장하며, 특히 후반기 역전 승리와 같은 극단적인 경우에 대해 강력한 성능을 보인다.
• 개방적이고 커뮤니티가 검토할 수 있는 방법론을 제공하여 향후 승리 확률 모델의 평가 및 개선을 위한 기준을 마련한다.

제안 방법

• 모델는 시간이 남은 시간, 스코어 차이, 패시브 여부, 다운 수, 거리 목표, 필드 포지션, 팀 실력, 홈 이점, 게임 상태(1, 2쿼터, 쿼터 종료/경기 종료)를 포함한 10개의 핵심 게임 상태 변수를 사용하는 로지스틱 회귀 프레임워크를 기반으로 한다.
• 모델 훈련은 NFL 공식 API를 통해 확보한 7개 시즌(2009–2015)의 상세한 플레이-바이-플레이 데이터를 기반으로 한다.
• 표준 평가 지표를 사용하여 모델를 평가한다: 정확도, Brier 점수, 확률 구간별 校정 신뢰도.
• 비선형 모델(베이지안 분류기 및 피드포워드 신경망)은 동일한 10개의 특징을 사용하여 로지스틱 회귀 기준 모델과의 성능 비교를 위해 훈련된다.
• 모델의 校정성은 예측된 확률과 실제 승리 빈도를 구간별로 비교하여 평가된다.
• 사례 기반 평가로는 2017년 슈퍼볼 51에서 패트리엇스가 25점 뒷따라 역전 승리를 거둔 사례를 분석하여 극단적 조건에서 모델의 행동을 시험한다.

실험 결과

연구 질문

• RQ1 단순하고 해석 가능한 로지스틱 회귀 모델이 NFL 내부 승리 확률 예측에서 높은 정확도와 잘 校정된 확률을 달성할 수 있는가?
• RQ2 iWinRNFL의 성능은 기준 전경우 승리 예측 모델과 정확도 및 校정성 측면에서 어떻게 비교되는가?
• RQ3 동일한 입력 특징을 사용할 때, 더 복잡한 비선형 모델(예: 신경망, 베이지안 분류기)이 단순한 로지스틱 모델을 유의미하게 능가하는가?
• RQ4 모델은 2017년 슈퍼볼 51 패트리엇스의 역전 승리와 같은 극단적 상황을 얼마나 잘 처리하는가?
• RQ5 특히 1,000분의 1의 확률과 같은 낮은 확률 사건에서 모델의 校정성은 전체 확률 스펙트럼에서 유연하게 유지되는가?

주요 결과

• iWinRNFL는 승리 팀을 정확히 예측하는 데 75%의 정확도를 기록하며, 기준 전경우 승리 예측 모델의 63%보다 뚜렷하게 뛰어나다.
• 모델의 예측 확률은 모든 확률 범위에서 잘 校정되어 있으며, 20%의 승리 확률이 부여된 팀은 실제로 약 20%의 비율로 승리한다.
• 심지어 2017년 슈퍼볼 51에서의 역전 승리와 같은 극단적인 경우에도 iWinRNFL는 패트리엇스의 최저점에서 2.1%의 보수적인 승리 확률을 부여하여 일부 전용 모델에서 관찰되는 과신을 피했다.
• 쿼터 말미에 비선형 역학이 나타나는 것으로 보이지만, 피드포워드 신경망(FNN)과 같은 더 복잡한 모델은 Brier 점수와 정확도에서 유의미한 향상이 없었으며, 특히 후반 게임 단계에서 더욱 그러했다.
• 모델의 성능은 경기가 진행될수록 향상되며, 경기가 끝날 무렵에는 상태의 최고 성능 수준에 가까워진다. 이는 팀 실력보다 내부 게임 다이내믹스의 중요성이 증가하는 경향과 일치한다.
• 이 연구는 단순하고 해석 가능한 모델인 iWinRNFL이 강력한 내부 승리 확률 예측을 위해 충분하며, 의미 있는 성능 향상을 위해 비선형 모델의 복잡성은 필요로 하지 않는다고 결론 내린다.