[논문 리뷰] The Art of Drafting: A Team-Oriented Hero Recommendation System for Multiplayer Online Battle Arena Games

Zhengxing Chen, Truong-Huy D. Nguyen외 5명|arXiv (Cornell University)|2018. 06. 26.

Artificial Intelligence in Games참고 문헌 28인용 수 11

한 줄 요약

이 논문은 MOBA 게임에서 팀 중심의 영웅 추천 시스템을 제안하며, 영웅 간 상호보완성 및 대립 관계를 고려해 최적의 영웅 선택을 위해 몬테카를로 트리 서치(MCTS)를 사용한다. 제안된 시스템은 드래フト를 조합 게임으로 모델링하고, 시뮬레이션을 통해 MCTS 기반 추천이 기준선 대비 유의미하게 뛰어난 성능을 보임을 입증하며, 강력한 상대팀에 대비해 최대 62.7%의 예측 승리율을 달성한다.

ABSTRACT

Multiplayer Online Battle Arena (MOBA) games have received increasing popularity recently. In a match of such games, players compete in two teams of five, each controlling an in-game avatars, known as heroes, selected from a roster of more than 100. The selection of heroes, also known as pick or draft, takes place before the match starts and alternates between the two teams until each player has selected one hero. Heroes are designed with different strengths and weaknesses to promote team cooperation in a game. Intuitively, heroes in a strong team should complement each other's strengths and suppressing those of opponents. Hero drafting is therefore a challenging problem due to the complex hero-to-hero relationships to consider. In this paper, we propose a novel hero recommendation system that suggests heroes to add to an existing team while maximizing the team's prospect for victory. To that end, we model the drafting between two teams as a combinatorial game and use Monte Carlo Tree Search (MCTS) for estimating the values of hero combinations. Our empirical evaluation shows that hero teams drafted by our recommendation algorithm have significantly higher win rate against teams constructed by other baseline and state-of-the-art strategies.

연구 동기 및 목표

• MOBA 게임에서 영웅 선택이 팀원과의 상호보완성과 상대팀에 대한 역할을 고려해야 하는 도전 과제를 해결하기 위해.
• 데이터 기반 추천을 통해 드래프트 품질을 향상시켜 플레이어의 좌절감과 부정적 행동을 줄이기 위해.
• 완전 정보를 갖춘 순차적이고 이인용, 제로섬 조합 게임으로 드래프팅 과정을 모델링하기 위해.
• 가능한 영웅 조합의 광범위한 검색 공간을 효율적으로 탐색할 수 있는 확장 가능한 추천 시스템을 개발하기 위해.
• 실제 드래프팅 규칙을 반영한 시뮬레이션 기반 실험을 통해 기준선 대비 시스템 성능을 평가하기 위해.

제안 방법

• 드래프팅 과정은 상태, 행동(선택 및 금지), 그리고 예측 승리율 기반의 보상 함수를 갖는 조합 게임으로 수식화된다.
• 효율적인 영웅 조합 탐색을 위해 수정된 UCT(트리에 적용된 상한 신뢰도) 알고리즘을 사용하여 몬테카를로 트리 서치를 수행한다.
• 보상 함수는 훈련된 예측기로 팀의 승리율을 추정하며, 종료 상태에서 금지된 영웅는 0값 성분으로 간주한다.
• 다중 시뮬레이션 동안 행동 가치를 향상시키기 위해 선택 빈도 가중 샘플링과 역전파를 사용한다.
• 모든 랭크 및 캡틴 모드 드래프팅 규칙을 지원하며, 1(라디언트 선택), -1(디어 선택), Ξ(금지), 0(미선택) 값을 갖는 벡터를 사용해 동적 상태 표현을 구현한다.
• 충분한 계산 자원이 확보될 경우 수렴이 보장되는 반복적 MCTS 프레임워크를 활용해 각 턴에서 다음 최적의 영웅 선택을 수행한다.

실험 결과

연구 질문

• RQ1 시뮬레이션 기반 MCTS 접근법이 MOBA 게임에서 팀 승리율을 극대화하는 영웅 선택을 효과적으로 추천할 수 있는가?
• RQ2 MCTS 기반 추천의 성능은 무작위 드래프트(RD), 적응형 반응(AR), 최고 승리율(HWR)과 같은 기준선 전략 대비 어떻게 비교되는가?
• RQ3 캡틴 모드와 같은 더 복잡한 드래프팅 규칙 하에서도 MCTS 시스템은 성능을 유지하거나 향상시키는가?
• RQ4 시뮬레이션 기반 계획 통합이 히우리스틱 또는 정적 승리율 선택에 비해 전략적 깊이를 어떻게 향상시키는가?
• RQ5 파rameter 조정(예: 탐색 상수 c)은 시스템의 예측 정확도와 승리율에 어떤 영향을 미치는가?

주요 결과

• UCT 기반 추천 시스템은 캡틴 모드에서 HWR 기준선 대비 62.7%의 예측 승리율을 기록했으며, 이는 All Ranked 모드에서의 61.1% 승리율을 초월한다.
• UCT 전략은 모든 기준선을 일관되게 능가했으며, UCT1600,2−1 설정이 두 드래프팅 규칙 세트에서 가장 강력한 구성으로 확인되었다.
• 캡틴 모드에서 MCTS 기반 전략은 기준선 대비 절대 승리율 1~3%p 향상되었으며, 더 깊은 계획 수립의 이점을 입증했다.
• 계산 오버헤드가 낮게 유지되었으며, All Ranked 시뮬레이션 대비 평균 선택 시간 증가가 거의 없었다.
• MCTS 알고리즘이 근사 최적의 선택으로 수렴했으며, 충분한 계산 자원 확보 시 향상 보장이 이론적으로 입증되었다.
• 결과는 MCTS 기반 시뮬레이션 검색이 복잡한 영웅 상호작용 공간을 효과적으로 탐색하고 팀 조합의 품질을 향상시킨다는 것을 확인한다.