[논문 리뷰] Which Heroes to Pick? Learning to Draft in MOBA Games with Neural Networks and Tree Search

Sheng Chen, Menghui Zhu외 4명|arXiv (Cornell University)|2020. 12. 18.

Artificial Intelligence in Games참고 문헌 41인용 수 4

한 줄 요약

이 논문은 다회차(최고의-N) 드래프팅을 최적화하기 위해 신경망과 몬테카를로 트리 검색을 조합한 새로운 영웅 드래프팅 알고리즘인 JueWuDraft을 제안한다. 드래프팅 과정을 조합 게임으로 모델링하고 장기적 가치 추정 메커니즘을 도입함으로써, JueWuDraft은 기존 최고 수준의 방법들보다 뛰어난 성능을 달성하며, 특히 다수의 라운드에 걸쳐 단기적 이득과 장기적 승리 확률 사이의 균형을 잘 잡는 데서 두각을 나타낸다.

ABSTRACT

Hero drafting is essential in MOBA game playing as it builds the team of each side and directly affects the match outcome. State-of-the-art drafting methods fail to consider: 1) drafting efficiency when the hero pool is expanded; 2) the multi-round nature of a MOBA 5v5 match series, i.e., two teams play best-of-N and the same hero is only allowed to be drafted once throughout the series. In this paper, we formulate the drafting process as a multi-round combinatorial game and propose a novel drafting algorithm based on neural networks and Monte-Carlo tree search, named JueWuDraft. Specifically, we design a long-term value estimation mechanism to handle the best-of-N drafting case. Taking Honor of Kings, one of the most popular MOBA games at present, as a running case, we demonstrate the practicality and effectiveness of JueWuDraft when compared to state-of-the-art drafting methods.

연구 동기 및 목표

• 기존 MOBA 드래프팅 방법이 큰 영웅 풀과 다회차 매치 구조를 처리하지 못하는 데서 비롯되는 한계를 해결하기 위해.
• 최고의-N 드래프팅 과정을 장기적인 전략적 가치를 고려한 다회차 조합 게임으로 모델링하기 위해.
• 즉각적인 승리 확률이 아닌 향후 라운드 결과를 우선시하는 가치 추정 메커니즘을 설계하기 위해.
• 100명 이상의 영웅을 포함한 대규모 MOBA 게임(예: 히어로 오브 코로니)에서 드래프팅의 효율성과 효과성을 향상시키기 위해.
• 실제 MOBA 게임 플레이 및 인간 플레이어 지원에 적용 가능한 실용적이고 확장 가능한 AI 드래프팅 시스템을 개발하기 위해.

제안 방법

• 팀 선택이 다수의 매치에 걸쳐 이루어지는 다회차 조합 게임으로 MOBA 드래프팅 과정을 수식화하기.
• 완전한 라인업의 결과를 추정하기 위해 신경망 기반 승리 확률 예측기 통합하기.
• 장기적 가치 함수를 적용한 몬테카를로 트리 검색(MCTS)을 사용해 즉각적인 이득을 넘어서는 드래프팅 결정을 이끌기.
• 최고의-N 시리즈의 모든 라운드에서 예측된 승리 확률의 평균을 최대화하는 가치 메커니즘 설계하기.
• 신경망을 활용한 시뮬레이션 롤아웃을 통해 가치를 추정함으로써 큰 영웅 풀에서의 전수 검색을 피하기.
• 미래의 드래프팅 상태와 상대의 대응 수를 고려하는 비그리디 전략을 구현해 장기적인 승리 확률을 향상시키기.

실험 결과

연구 질문

• RQ1 MOBA 게임에서 영웅 드래프팅은 어떻게 다회차 조합 게임으로 효과적으로 모델링할 수 있는가?
• RQ2 신경망 기반의 가치 추정기로 단일 라운드 최적화를 넘어서 드래프팅 결정을 향상시킬 수 있는가?
• RQ3 MCTS에 장기적 가치 메커니즘을 도입하면 그리디 전략이나 단일 라운드 전략에 비해 최고의-N MOBA 시리즈에서 더 뛰어난 성능을 낼 수 있는가?
• RQ4 100명 이상의 영웅 풀에 대해 계산 효율성을 유지하면서 이 방법은 어떻게 확장 가능한가?
• RQ5 기존의 방법들인 OpenAI Five와 DraftArtist에 비해 실제 MOBA 환경에서 이 알고리즘이 얼마나 뛰어나게 성능을 내는가?

주요 결과

• JueWuDraft은 히어로 오브 코로니에서의 모든 실험 환경에서 기존 최고 수준의 방법들인 OpenAI Five와 DraftArtist를 압도적으로 앞서간다.
• 특히 큰 영웅 풀과 복잡한 드래프팅 순서를 처리하는 데 있어 뛰어난 효율성과 효과성을 보였다.
• 즉각적으로 가장 높은 예측 승리 확률을 가진 영웅을 선택하는 그리디 선택을 피하기 위해 장기적인 전략적 균형을 우선시한다.
• 최고의-3 시리즈에서 첫 번째 라운드의 승리 확률가 약간 낮더라도, 두 번째 및 세 번째 라운드에서 더 높은 예측 승리 확률을 가진 영웅를 선택한다.
• 장기적 가치 메커니즘이 다수의 라운드에 걸쳐 더 안정적이고 일관된 성능을 이끌어내어 초기 게임의 우위에 의존하는 것을 줄였다.
• 이 방법은 실제 응용 분야에 도입되었으며, PVE 게임 모드와 히어로 오브 코로니에서 인간 플레이어의 영웅 추천에도 활용되었다.