[논문 리뷰] Random forest model identifies serve strength as a key predictor of tennis match outcome

Zijian Gao, Amanda Kowalczyk|arXiv (Cornell University)|2019. 10. 08.

Sports Analytics and Performance참고 문헌 18인용 수 5

한 줄 요약

이 연구는 대규모 테니스 매치 데이터셋을 바탕으로 랜덤 포레스트 기계학습 모델을 사용하여 승패 결과를 80% 이상의 정확도로 예측한다. 서비스 강도가 가장 중요한 예측 변수로 밝혀졌으며, 단순 배팅 옹호보다 뛰어나고 모델 앙상블 통합을 통해 시장 확률을 밀도 있게 재현한다.

ABSTRACT

Tennis is a popular sport worldwide, boasting millions of fans and numerous national and international tournaments. Like many sports, tennis has benefitted from the popularity of rigorous record-keeping of game and player information, as well as the growth of machine learning methods for use in sports analytics. Of particular interest to bettors and betting companies alike is potential use of sports records to predict tennis match outcomes prior to match start. We compiled, cleaned, and used the largest database of tennis match information to date to predict match outcome using fairly simple machine learning methods. Using such methods allows for rapid fit and prediction times to readily incorporate new data and make real-time predictions. We were able to predict match outcomes with upwards of 80% accuracy, much greater than predictions using betting odds alone, and identify serve strength as a key predictor of match outcome. By combining prediction accuracies from three models, we were able to nearly recreate a probability distribution based on average betting odds from betting companies, which indicates that betting companies are using similar information to assign odds to matches. These results demonstrate the capability of relatively simple machine learning models to quite accurately predict tennis match outcomes.

연구 동기 및 목표

• 공개된 매치 데이터를 사용하여 빠르고 정확한 기계학습 모델을 개발하여 테니스 매치 결과를 예측하는 것.
• 매치 결과를 결정하는 데 가장 영향력 있는 선수 및 매치 수준의 특징을 특정하는 것.
• 모델 예측을 실제 배팅 옹호와 비교하여 시장 정보와의 일치 정도를 평가하는 것.
• 스포츠 분석 분야에서 단순한 기계학습 모델과 복잡한 대안 모델 간의 성능을 비교 평가하는 것.

제안 방법

• 여러 국제 대회에서 수집한 대규모이고 정제된 테니스 매치 기록 데이터셋을 구축하였다.
• 선수 및 매치 수준의 특징을 기반으로 매치 결과를 예측하기 위해 랜덤 포레스트 분류기를 적용하였다.
• 서비스 강도를 포함한 입력 변수의 예측 능력을 순위 매기기 위해 순열 특징 중요도를 사용하였다.
• 세 개의 모델 예측을 조합하여 배팅 시장이 암시하는 확률 분포를 근사하였다.
• 정확도와 AUC를 포함한 표준 기계학습 평가 지표를 사용하여 모델을 훈련하고 평가하였다.
• 주요 기업의 평균 배팅 옹호와의 출력 분포 비교를 통해 모델의 강인성을 검증하였다.

실험 결과

연구 질문

• RQ1 테니스 매치 결과를 가장 잘 예측하는 선수 및 매치 수준의 특징은 무엇인가?
• RQ2 랜덤 포레스트와 같은 단순한 기계학습 모델이 테니스 매치 결과 예측에 높은 정확도를 달성할 수 있는가?
• RQ3 모델 예측이 실제 배팅 시장 옹호와 어느 정도 일치하는가?
• RQ4 서비스 강도는 다른 성과 지표에 비해 매치 결과 예측에서 어떻게 비교되는가?
• RQ5 앙상블 모델링을 통해 전문 배팅 기업이 사용하는 확률 분포를 효과적으로 재구성할 수 있는가?

주요 결과

• 랜덤 포레스트 모델은 80% 이상의 매치 결과 예측 정확도를 달성하였으며, 단순히 배팅 옹호에 의존한 예측보다 뚜렷하게 뛰어났다.
• 순열 특징 중요도 분석 결과, 서비스 강도가 매치 결과 예측에서 가장 중요한 예측 변수로 나타났다.
• 세 모델의 앙상블은 평균 배팅 기업 옹호에서 유도된 확률 분포를 밀도 있게 재현하였으며, 이는 정보 공유가 이루어졌음을 시사한다.
• 모델의 성능은 비교적 단순한 기계학습 방법이 스포츠 결과 예측에서 높은 정확도를 달성할 수 있음을 보여준다.
• 이 연구는 서비스 강도와 같은 핵심 성과 지표가 시장 옹호에 체계적으로 반영되고 있음을 확인하여 모델의 실제 적용 가능성에 대한 타당성을 입증한다.
• 모델의 빠른 훈련 및 예측 시간은 스포츠 분석 및 배팅 분야에서 실시간 응용에 적합함을 시사한다.