[논문 리뷰] Augmenting Adjusted Plus-Minus in Soccer with FIFA Ratings

Francesca Matano, Lee Richardson외 3명|arXiv (Cornell University)|2018. 10. 18.

Sports Analytics and Performance참고 문헌 9인용 수 7

한 줄 요약

이 논문은 축구에서 선수 가치 평가를 향상시키기 위해 FIFA 평가를 사전 분포에 통합한 베이지안 확장형 조정된 플러스-마이너스(Augmented APM)를 제안한다. 주관적인 FIFA 평가와 통계적 APM을 결합함으로써, 표준 APM이나 FIFA 전용 모델보다 더 높은 샘플 외 예측 정확도를 달성하면서도 동료 선수 간의 다중공선성을 감소시킨다.

ABSTRACT

In basketball and hockey, state-of-the-art player value statistics are often variants of Adjusted Plus-Minus (APM). But APM hasn't had the same impact in soccer, since soccer games are low scoring with a low number of substitutions. In soccer, perhaps the most comprehensive player value statistics come from video games, and in particular FIFA. FIFA ratings combine the subjective evaluations of over 9000 scouts, coaches, and season-ticket holders into ratings for over 18,000 players. This paper combines FIFA ratings and APM into a single metric, which we call Augmented APM. The key idea is recasting APM into a Bayesian framework, and incorporating FIFA ratings into the prior distribution. We show that Augmented APM predicts better than both standard APM and a model using only FIFA ratings. We also show that Augmented APM decorrelates players that are highly collinear.

연구 동기 및 목표

• 낮은 골 수와 높은 선수 간 다중공선성으로 인해 표준 조정된 플러스-마이너스(APM)의 한계를 해결하기 위해.
• 9,000명의 스카우트와 코치로부터 유래한 신뢰할 수 있는 외부 선수 평가 자료로 활용 가능한 FIFA 평가를 활용하기 위해.
• 순수한 APM 모델과 순수한 FIFA 평가 모델보다 더 높은 예측 정확도를 달성하는 통합 지표를 개발하기 위해.
• FIFA 평가에서 유래한 사전 지식을 통합함으로써 선수 순위에서 동료 선수 간 허구적 상관관계를 감소시키기 위해.

제안 방법

• 선수 효과에 정규 사전분포를 두어 표준 리지 회귀 APM을 베이지안 계층 모형으로 재구성한다.
• 각 선수의 잠재 기량 파라미터의 사전분포의 평균으로 FIFA 평가를 통합한다.
• empirical Bayes 추정을 사용하여 사전분포와 가능도의 정밀도 파라미터를 동시에 추정함으로써 정규화 및 수축을 가능하게 한다.
• 최대 사후확률(MAP) 추정을 사용하여 모델을 피팅하며, 이는 펜alties가 부여된 로그우도를 최소화하는 사후모드를 찾는다.
• 2015~2018년 영국 프리미어리그 데이터를 10겹 교차검증을 통해 훈련 및 검증한다.
• 경기 수준의 골 득실 차이를 기반으로 평균제곱오차(MSE)를 사용하여 예측 성능을 비교한다.

실험 결과

연구 질문

• RQ1 FIFA 평가와 조정된 플러스-마이너스를 조합함으로써 축구 선수 평가에서 샘플 외 예측 정확도를 향상시킬 수 있는가?
• RQ2 APM의 사전분포에 FIFA 평가를 통합함으로써 선수 순위에서 동료 선수 간 다중공선성을 줄일 수 있는가?
• RQ3 축구 시즌의 다양한 시점에서 Augmented APM의 예측 성능은 표준 APM 및 FIFA 전용 모델과 비교해 어떻게 다른가?
• RQ4 Augmented APM 순위가 '눈으로 확인'하는 테스트를 통해 직관적인 선수 성과와 얼마나 일치하는가?
• RQ5 Augmented APM의 베이지안 프레임워크는 골 수가 적은 스포츠인 축구에서 희소성과 다중공선성 문제를 더 잘 다룰 수 있는가?

주요 결과

• Augmented APM은 3개의 EPL 시즌 동안 10겹 교차검증에서 가장 낮은 평균제곱오차(MSE)를 기록하여 표준 APM 및 FIFA 전용 모델을 모두 압도했다.
• FIFA 전용 모델은 단순 절편 모델보다 성능이 향상되어, FIFA 평가가 경기 결과 예측에 정보가 되는 것을 확인했다.
• 2015년과 2017년에는 표준 APM이 FIFA 전용 모델보다 성능이 뛰어나, APM이 데이터 희소성과 다중공선성 문제로 인해 축구에서 어려움을 겪는다는 점을 보여주었다.
• 2월이 되자 Augmented APM이 FIFA 평가의 예측 정확도를 뛰어넘었으며, 더 많은 데이터가 축적됨에 따라 APM이 유용한 정보를 점차 습득한다는 점을 시사했다.
• FIFA 평가를 사전으로 통합함으로써 맨체스터 시티와 맨체스터 유나이티드의 동료 선수들이 순위에서 뭉치는 것을 성공적으로 줄였다.
• 모하메드 살라의 APM 순위는 1위였지만 Augmented APM에서는 4위로, 모델이 높은 FIFA 평가를 반영하여 전문가의 공감대와 일치하는 방향으로 조정된다는 점을 반영했다.