[논문 리뷰] Win Prediction in Esports: Mixed-Rank Match Prediction in Multi-player Online Battle Arena Games

Joanna Hodge, Sam Devlin외 4명|arXiv (Cornell University)|2017. 11. 17.

Digital Games and Media인용 수 23

한 줄 요약

이 논문은 전문가 데이터만으로는 부족한 전문 e스포츠 대회에서의 승자 예측을 위해 전문가와 초고도 숙련된 비전문가의 혼합 랭크 DotA 2 매치 데이터를 사용하여 기계학습 모델을 훈련시키는 것을 제안한다. 약간의 정확도 감소에도 불구하고 혼합된 게임 내 데이터로 훈련된 모델은 전문가 매치에서 뛰어난 성능을 보이며, 고도로 숙련된 비전문가 데이터가 제한된 전문가 데이터를 효과적으로 보완하여 MOBA에서 신뢰할 수 있는 승자 예측을 가능하게 한다.

ABSTRACT

Esports has emerged as a popular genre for players as well as spectators, supporting a global entertainment industry. Esports analytics has evolved to address the requirement for data-driven feedback, and is focused on cyber-athlete evaluation, strategy and prediction. Towards the latter, previous work has used match data from a variety of player ranks from hobbyist to professional players. However, professional players have been shown to behave differently than lower ranked players. Given the comparatively limited supply of professional data, a key question is thus whether mixed-rank match datasets can be used to create data-driven models which predict winners in professional matches and provide a simple in-game statistic for viewers and broadcasters. Here we show that, although there is a slightly reduced accuracy, mixed-rank datasets can be used to predict the outcome of professional matches, with suitably optimized configurations.

연구 동기 및 목표

• 전문가 매치 데이터의 부족 문제를 해결하기 위해 초고도 숙련된 비전문가 데이터를 활용하여 예측 모델을 훈련시키는 것.
• 다른 레벨의 플레이어 행동 차이에도 불구하고, 혼합 랭크 데이터셋이 전문가 매치의 결과를 신뢰성 있게 예측할 수 있는지 평가하는 것.
• 게임 내 상태 및 영웅 선택 특징을 활용하여 전문 MOBA 매치의 승자 결과를 예측하기 위한 가장 효과적인 기계학습 알고리즘과 설정(예: 하이퍼파라미터, 특징 집합)을 특정하는 것.
• 방송국과 시청자가 사용할 수 있는 실시간 승자 예측을 위한 실용적이고 데이터 기반의 프레임워크를 개발하는 것.

제안 방법

• 연구는 전문가 매치와 초고도 숙련된 비전문가 매치를 포함하는 혼합 랭크 데이터셋을 사용하여 더 넓은 데이터 커버리지를 확보한다.
• 특징 공학은 시간에 따른 게임 내 통계(예: 골드, 경험치, 킬/데스 비율 등)와 사전 게임 영웅 선택 데이터를 추출한다.
• 주요 기계학습 알고리즘 두 가지인 랜덤 포레스트와 로지스틱 회귀를 평가하며, 성능 최적화를 위해 광범위한 하이퍼파라미터 튜닝과 특징 선택을 수행한다.
• 모델은 혼합 랭크 데이터로 훈련되고, 일반화 능력과 예측 정확도를 평가하기 위해 검증을 위해 미리 보지 않은 전문가 매치 데이터로 테스트된다.
• 예측 정확도를 비교하기 위해 다양한 데이터 유형(영웅 선택 대비 게임 내 상태)과 모델 설정을 평가하여 최적의 구성 요소를 식별한다.
• 연구는 시간 기반 평가 전략을 사용하여 매 20분 간격으로 예측 정확도를 평가함으로써 매치 진행 중 모델 성능을 분석한다.

실험 결과

연구 질문

• RQ1 전문가 매치와 초고도 숙련된 비전문가 매치를 혼합한 혼합 랭크 데이터셋을 사용하여 전문가 매치의 결과를 정확하게 예측할 수 있는가?
• RQ2 혼합 데이터로 훈련된 모델의 예측 정확도가 전문가 데이터만으로 훈련된 모델보다 전문가 매치 결과 예측에 대해 어떻게 비교되는가?
• RQ3 어느 기계학습 알고리즘과 설정(예: 하이퍼파라미터, 특징 집합)이 전문가 매치의 예측 정확도를 가장 높게 만드는가?
• RQ4 영웅 선택 특징과 게임 내 상태 특징은 전문가 매치 결과 예측에서 어떻게 비교되는가?
• RQ5 매치의 길이가 예측 정확도에 영향을 미치는가? 전문가 매치와 비전문가 매치 간 이는 어떻게 다를까?

주요 결과

• 혼합 랭크 게임 내 데이터로 훈련된 모델는 혼합 데이터에서의 성능과 비슷한 수준의 정확도를 전문가 매치에서 달성하며, 강력한 일반화 능력을 보여준다.
• 영웅 선택 특징만으로는 전문가 매치 결과 예측에 실패하며, 전문가의 선택이 비표준적이고 전략적으로 복잡한 패턴을 따르기 때문에 비전문가 데이터로는 이를 포착하지 못한다.
• 게임 내 시간에 따른 특징(예: 골드, 경험치, 킬/데스 차이 등)은 영웅 선택보다 훨씬 더 예측 능력이 뛰어나며, 특히 전문가 매치에서 두드러진다.
• 전문가 데이터와 비전문가 데이터에 대해 최적의 모델 설정이 다르며, 전문가 매치는 고유한 행동 패턴으로 인해 별도의 모델링 접근이 필요함을 시사한다.
• 전문가 매치는 평균적으로 더 오래 지속되며(모든 전문가 매치의 100%가 20분 이상), 이는 불확실성 증가로 이어져 예측 정확도가 낮아짐을 보여준다.
• 이 연구는 혼합 랭크 데이터가 제한된 전문가 데이터를 효과적으로 보완할 수 있음을 입증하며, 전문 e스포츠를 위한 첫 번째 신뢰할 수 있는 데이터 기반 승자 예측 프레임워크를 제공한다.