[논문 리뷰] Fantasy Football Prediction

Roman Lutz|arXiv (Cornell University)|2015. 05. 26.

Sports Analytics and Performance참고 문헌 5인용 수 8

한 줄 요약

이 논문은 6개 시즌의 제한된 경기 데이터를 사용하여 NFL 쿼터백의 프انتasma 풋볼 점수를 예측하기 위해 서포트 벡터 리그레션(SVR)과 신경망을 제안하고 평가한다. 가장 우수한 성능을 보인 모델은 50개의 은닉 유닛과 시그모이드 활성화 함수를 사용한 단일층 신경망으로, 상위 24명의 쿼터백에서 평균 절대 오차(MAE) 6.235를 기록하여 SVR를 능가했으며, 데이터 제한에도 불구하고 기계학습이 프انتasma 스포츠 예측에 잠재력을 지닌다는 것을 보여주었다.

ABSTRACT

The ubiquity of professional sports and specifically the NFL have lead to an increase in popularity for Fantasy Football. Users have many tools at their disposal: statistics, predictions, rankings of experts and even recommendations of peers. There are issues with all of these, though. Especially since many people pay money to play, the prediction tools should be enhanced as they provide unbiased and easy-to-use assistance for users. This paper provides and discusses approaches to predict Fantasy Football scores of Quarterbacks with relatively limited data. In addition to that, it includes several suggestions on how the data could be enhanced to achieve better results. The dataset consists only of game data from the last six NFL seasons. I used two different methods to predict the Fantasy Football scores of NFL players: Support Vector Regression (SVR) and Neural Networks. The results of both are promising given the limited data that was used.

연구 동기 및 목표

• 주관적인 전문가 의견에 의존하는 것보다 줄일 수 있는 정확하고 데이터 기반의 프랑스 풋볼 점수 예측 모델을 개발하기 위해.
• 6개의 NFL 시즌 데이터셋에서 서포트 벡터 리그레션(SVR)과 신경망의 성능을 평가하기 위해.
• 핵심 예측 특징을 특정하고 모델 정확도 향상을 위한 데이터 향상 전략을 제안하기 위해.
• 특히 프랑스 리그에서 재정적 리스크가 증가함에 따라, 편향이 없고 자동화된 예측 도구의 기반을 마련하기 위해.

제안 방법

• 예측 오차를 허용 오차 범위 내에서 최소화하기 위해 $\epsilon$-감성 손실을 적용한 선형 및 다항식 커널을 사용한 서포트 벡터 리그레션(SVR)을 사용하였다.
• 게임 통계에서 가장 관련성이 높은 예측 변수를 식별하기 위해 교차검증을 통한 재귀적 특징 제거(RFECV)를 적용하였다.
• 단일 은닉층을 가진 전방향 신경망을 구현하였으며, 시그모이드 및 탄젠트 활성화 함수를 사용하고, 에포크 수, 은닉 유닛 수, 활성화 유형 등의 하이퍼파rameter를 최적화하였다.
• 시험 세트, 특히 상위 성과를 낸 선수들의 하위 집합에 대해 RMSE, MAE, MRE와 같은 표준 회귀 평가 지표를 사용하여 모델 성능을 평가하였다.
• 성과 추세를 더 잘 포착하기 위해 지수 가중 이동 평균(EWMA)과 같은 데이터 향상 전략을 탐색하였다.
• 신경망 학습을 위해 PyBrain 라이브러리를 사용하고, 다양한 하이퍼파rameter 조합에 대해 모델 설정을 교차검증하였다.

실험 결과

연구 질문

• RQ1 제한된 역사적 데이터로도 SVR 및 신경망과 같은 기계학습 모델이 NFL 쿼터백의 프랑스 풋볼 점수를 효과적으로 예측할 수 있는가?
• RQ2 C, ε, 커널 유형, 학습률 등의 다양한 하이퍼파rameter는 이 맥락에서 SVR 및 신경망의 성능에 어떻게 영향을 미치는가?
• RQ3 가장 예측력이 높은 특징는 무엇이며, 특징 선택은 모델 정확도 향상에 어떻게 기여하는가?
• RQ4 EWMA와 같은 데이터 향상 기법이나 부상 보고서, 팀 내 역학 정보의 통합은 예측 성능 향상에 기여하는가?
• RQ5 데이터 기반 모델의 결과는 전문가 기반 또는 공개된 예측 시스템과 비교해 볼 때 어떻게 다른가?

주요 결과

• 가장 뛰어난 성능을 보인 모델은 50개의 은닉 유닛과 시그모이드 활성화 함수를 사용한 단일층 신경망으로, 상위 24명의 쿼터백에서 평균 절대 오차(MAE) 6.235를 기록하였다.
• 이 신경망 모델은 모든 SVR 설정보다 뛰어난 성능을 보였으며, 최고의 SVR(선형 커널, C=0.25, ε=0.25)도 더 높은 MAE를 기록하였다.
• RFECV를 통한 특징 선택은 오직 네 가지 핵심 특징만을 식별하여, 많은 경기 통계 간의 높은 상관관계와 중복된 특징의 추가적 가치가 제한적이라는 것을 시사하였다.
• 상위 24명의 쿼터백에 대한 오차는 전체 시험 세트의 오차보다 유의미하게 낮아, 우수한 선수를 예측하는 것이 일반 선수 풀을 예측하는 것보다 더 가능성이 높다는 것을 보여주었다.
• 지수 가중 이동 평균(EWMA)의 사용은 성과 추세를 보다 잘 포착할 수 있는 유망한 방법으로 제안되었으며, 이는 모델 정확도 향상에 기여할 수 있다.
• 다소 유망한 결과에도 불구하고, 전체 MAE는 여전히 높았으며(6점 이상), 현재 모델들이 프랑스 스코어링 예측에서 높은 정밀도를 달성하는 데 여전히 도전 과제를 안고 있음을 시사한다.