[논문 리뷰] Performance Prediction in Major League Baseball by Long Short-Term Memory Networks

Hsuan-Cheng Sun, Tse-Yu Lin외 1명|arXiv (Cornell University)|2022. 06. 20.

Sports Analytics and Performance인용 수 4

한 줄 요약

이 논문은 메이저 리그 베이스볼(Major League Baseball, MLB)의 역사적 선수 통계를 바탕으로 장기 단기 기억(Long Short-Term Memory, LSTM) 네트워크를 사용하여 홈런 성과를 예측하는 것을 제안한다. 연구는 전통적인 기계학습 모델과 널리 사용되는 sZymborski Projection System(ZiPS)보다 LSTM 모델이 더 낮은 MAE와 RMSE를 기록함으로써 성능이 뛰어나며, 특히 2019년에 더욱 뛰어난 예측 정확도를 보이며 작은 오차 간격 내에서 더 정확한 예측을 제공함을 입증한다.

ABSTRACT

Player performance prediction is a serious problem in every sport since it brings valuable future information for managers to make important decisions. In baseball industries, there already existed variable prediction systems and many types of researches that attempt to provide accurate predictions and help domain users. However, it is a lack of studies about the predicting method or systems based on deep learning. Deep learning models had proven to be the greatest solutions in different fields nowadays, so we believe they could be tried and applied to the prediction problem in baseball. Hence, the predicting abilities of deep learning models are set to be our research problem in this paper. As a beginning, we select numbers of home runs as the target because it is one of the most critical indexes to understand the power and the talent of baseball hitters. Moreover, we use the sequential model Long Short-Term Memory as our main method to solve the home run prediction problem in Major League Baseball. We compare models' ability with several machine learning models and a widely used baseball projection system, sZymborski Projection System. Our results show that Long Short-Term Memory has better performance than others and has the ability to make more exact predictions. We conclude that Long Short-Term Memory is a feasible way for performance prediction problems in baseball and could bring valuable information to fit users' needs.

연구 동기 및 목표

• 메이저 리그 베이스볼에서 미래 선수 성과 예측에 대해 딥 러닝, 특히 LSTM 네트워크의 실현 가능성을 탐색하는 것.
• 기존 모델과 비교하여 홈런 수—타자력과 능력의 핵심 지표—에 대한 LSTM의 예측 정확도를 평가하는 것.
• 순차적 선수 통계를 기반으로 더 정확한 예측 시스템을 개발하여 야구 결정보수자에게 실질적인 통찰을 제공하는 것.
• 현재 문헌에서의 격차를 메우기 위해 딥 러닝을 활용해 야구에서의 성과 예측에 새로운 기준을 설정하는 것.

제안 방법

• 연구는 시간 시리즈 선수 통계를 처리하기 위해 장기 단기 기억(Long Short-Term Memory, LSTM) 네트워크를 사용하는 순차적 모델링 접근법을 사용한다.
• 입력 특징으로는 20개의 역사적 성과 지표(예: 타수, 안타, 홈런, 볼넷 등)를 여러 시즌에 걸쳐 요약한 자료를 포함한다.
• 다섯 가지의 다른 LSTM 아키텍처를 학습 및 비교하였으며, 예측 성능을 최적화하기 위해 초모수 튜닝을 실시하였다.
• 모델 성능 평가에는 2018년과 2019년 테스트 데이터를 사용한 MAE(평균 절대 오차)와 RMSE(근미분 평균 제곱 오차)를 활용하였다.
• 예측 성능는 널리 사용되는 프로젝션 시스템(sZymborski Projection System, 또는 ZiPS)과 선형 회귀 및 랜덤 포레스트와 같은 전통적인 기계학습 모델과의 비교를 통해 평가되었다.
• 자료 제약으로 인해 선수 신장과 체중이 시즌 간 일정하다고 가정하였으며, 하드히트율이나 BABIP과 같은 고급 지표는 포함하지 않았다.

실험 결과

연구 질문

• RQ1 기존 성과 데이터를 기반으로 LSTM 네트워크가 메이저 리그 베이스볼 선수의 미래 홈런 생산을 효과적으로 예측할 수 있는가?
• RQ2 LSTM의 예측 성능는 기존 기계학습 모델과 확립된 ZiPS 프로젝션 시스템과 비교해 어떻게 다른가?
• RQ3 스포츠에서 선수 성과 예측 정확도에 순차적 모델링이 미치는 영향은 무엇인가?
• RQ4 고홈런 선수(예: 30개 이상 홈런)는 왜 여전히 예측하기 어려운가? 그리고 LSTM 모델은 이 과제를 해결할 수 있는가?

주요 결과

• LSTM 모델은 2019년 테스트 세트에서 모든 다른 모델, 선형 회귀 및 ZiPS를 포함해 가장 낮은 MAE와 RMSE를 기록하였다.
• 2018년에는 선형 회귀가 LSTM와 유사한 낮은 RMSE와 MAE를 기록했지만, 2019년에는 LSTM가 모든 다른 모델보다 뚜렷이 뛰어난 성능을 보였다.
• LSTM 모델은 예측값과 실제 홈런 수 간의 큰 편차 없이 가장 정확한 예측을 내놓았으며, 다른 모델들은 예측값과 실제값 간의 큰 이격을 보였다.
• 이 연구는 딥 러닝, 특히 LSTM가 야구에서 순차적 성과 예측에 있어 강력하고 효과적인 방법임을 확인한다.
• 결과는 LSTM가 향후 연구 및 실무 응용에서 선수 성과 예측의 새로운 기준이 될 수 있음을 시사한다.
• 고홈런 선수(30개 이상 홈런)는 여전히 예측하기 어려운 문제로 남아 있어, 모델 아키텍처와 특징 공학에 대한 추가 연구가 필요하다.