[논문 리뷰] Machine learning models for DOTA 2 outcomes prediction

Kodirjon Akhmedov, Anh Huy Phan|arXiv (Cornell University)|2021. 06. 03.

Digital Games and Media참고 문헌 8인용 수 16

한 줄 요약

이 논문은 독자적인 GSI 기반 파이썬 서버를 통해 수집한 실시간 게임 내 데이터를 사용하여 도타 2 매치 결과를 예측하기 위한 실시간 머신러닝 파이프라인을 제안한다. 선형 회귀, 피드포워드 신경망, 그리고 LSTM 모델을 평가하여, 다중 전진 예측에서 LSTM이 최대 93%의 정확도를 기록하며 기존 모델보다 우수한 성능을 보이며, 동적 e스포츠 분석에서의 우수성을 입증한다.

ABSTRACT

Prediction of the real-time multiplayer online battle arena (MOBA) games' match outcome is one of the most important and exciting tasks in Esports analytical research. This research paper predominantly focuses on building predictive machine and deep learning models to identify the outcome of the Dota 2 MOBA game using the new method of multi-forward steps predictions. Three models were investigated and compared: Linear Regression (LR), Neural Networks (NN), and a type of recurrent neural network Long Short-Term Memory (LSTM). In order to achieve the goals, we developed a data collecting python server using Game State Integration (GSI) to track the real-time data of the players. Once the exploratory feature analysis and tuning hyper-parameters were done, our models' experiments took place on different players with dissimilar backgrounds of playing experiences. The achieved accuracy scores depend on the multi-forward prediction parameters, which for the worse case in linear regression 69\% but on average 82\%, while in the deep learning models hit the utmost accuracy of prediction on average 88\% for NN, and 93\% for LSTM models.

연구 동기 및 목표

• 도타 2에서 게임 상태 통합(GSI)을 사용하여 실시간으로 플레이어 상태를 추적할 수 있는 데이터 수집 시스템을 개발한다.
• 실시간으로 매치 결과를 예측하기 위한 머신러닝 모델—선형 회귀, 신경망, LSTM—을 설계하고 비교한다.
• 특성 공학 및 민감도 분석을 통해 예측 정확도에 영향을 주는 주요 게임 내 특성을 규명한다.
• PyQt와 Tkinter를 사용하여 데이터 수집 및 모델 성능 모니터링을 위한 사용자 친화적인 GUI를 구축한다.
• 다양한 전진 예측 단계와 플레이어 실력 수준에서의 모델 성능을 평가한다.

제안 방법

• Valve의 게임 상태 통합(GSI) API를 사용하여 도타 2에서 실시간 게임 상태 데이터를 수집하기 위한 독자적인 파이썬 서버를 구축했다.
• 다양한 시간 간격에서 골드, 경험치, 영웅 통계 등의 의미 있는 게임 내 지표를 추출하기 위해 특성 공학을 적용했다.
• 세 가지 모델을 훈련시켰다: 선형 회귀(LR), 피드포워드 신경망(NN), 장기 기억 순환 신경망(LSTM).
• 모델 성능 최적화를 위해 교차 검증과 그리드 서치를 사용하여 하이퍼파rameter 튜닝을 수행했다.
• 실시간 데이터 수집 및 모델 평가를 가능하게 하기 위해 PyQt와 Tkinter를 사용하여 그래픽 사용자 인터페이스(GUI)를 개발했다.
• 모델 성능은 여러 전진 예측 단계(예: 1단계에서 10단계까지)에 걸쳐 정확도 점수로 평가되었으며, 각 게임별로 결과를 기록하고 플레이어 평균값을 산출했다.

실험 결과

연구 질문

• RQ1 실시간 게임 내 데이터를 사용할 때, 전통적인 머신러닝 및 딥러닝 모델의 도타 2 매치 결과 예측 능력은 얼마나 효과적인가?
• RQ2 다중 전진 예측 단계가 모델 정확도에 미치는 영향은 무엇이며, 이는 모델 유형에 따라 어떻게 다를까?
• RQ3 어떤 게임 내 특성이 매치 결과 예측에 가장 유의미한가, 그리고 이는 시간이 지남에 따라 어떻게 변화하는가?
• RQ4 LSTM 모델이 시간에 따른 게임 플레이의 동적 특성을 더 잘 포착할 수 있는가, 피드포워드 신경망 및 선형 회귀 모델보다 성능이 뛰어나게 되는가?
• RQ5 다른 경험 수준과 플레이 스타일을 가진 플레이어 간에 모델 성능은 어떻게 달라지는가?

주요 결과

• LSTM 모델은 다중 전진 예측 단계에서 평균 93%의 예측 정확도를 기록하여 선형 회귀 및 피드포워드 신경망보다 뚜렷이 뛰어난 성능을 보였다.
• 선형 회귀는 최악의 경우 69%의 정확도를 기록했지만, 모든 예측 평균으로는 82%를 기록하여 복잡한 시간 패턴을 포착하는 데 한계가 있음을 시사했다.
• 신경망은 평균 88%의 정확도를 기록하여 강력한 성능를 보였지만, LSTM의 시간적 모델링 능력에는 미치지 못했다.
• 전진 예측 단계 수가 증가할수록 정확도가 감소했으며, 짧은 기간 예측에서 더 높은 정확도가 관찰된 것은 시간 지연 상관관계가 더 강하기 때문이다.
• GUI 시스템은 실시간 데이터 수집 및 모델 평가를 성공적으로 지원했으며, 모델 추론 후 결과가 텍스트 브라우저에 실시간으로 동적으로 표시되었다.
• 특성 중요도 분석 결과, 골드 차이, 레벨 진전, 영웅 고유 능력이 매치 결과 예측에 가장 영향을 주는 주요 예측 변수로 확인되었다.