[論文レビュー] Which Heroes to Pick? Learning to Draft in MOBA Games with Neural Networks and Tree Search

Sheng Chen, Menghui Zhu+4 more|arXiv (Cornell University)|Dec 18, 2020

Artificial Intelligence in Games参考文献 41被引用数 4

ひとこと要約

本論文では、MOBAゲームにおけるマルチラウンド（ネストオブ-N）の英雄選択を最適化するために、ニューラルネットワークとモンテカルロ木探索を組み合わせた新規の英雄選択アルゴリズム、JueWuDraftを提案する。選択プロセスを組み合わせゲームとしてモデル化し、長期的価値推定機構を導入することで、短期的利得と複数ラウンドにわたる長期的勝利確率のバランスを最適化し、最先端手法を上回る性能を達成した。特に、複数ラウンドにわたる戦略的配慮を重視する点で顕著な優位性を示した。

ABSTRACT

Hero drafting is essential in MOBA game playing as it builds the team of each side and directly affects the match outcome. State-of-the-art drafting methods fail to consider: 1) drafting efficiency when the hero pool is expanded; 2) the multi-round nature of a MOBA 5v5 match series, i.e., two teams play best-of-N and the same hero is only allowed to be drafted once throughout the series. In this paper, we formulate the drafting process as a multi-round combinatorial game and propose a novel drafting algorithm based on neural networks and Monte-Carlo tree search, named JueWuDraft. Specifically, we design a long-term value estimation mechanism to handle the best-of-N drafting case. Taking Honor of Kings, one of the most popular MOBA games at present, as a running case, we demonstrate the practicality and effectiveness of JueWuDraft when compared to state-of-the-art drafting methods.

研究の動機と目的

• 既存のMOBA選択手法が大規模な英雄プールやマルチラウンドのマッチ構造を適切に処理できないという限界を解消すること。
• ネストオブ-Nの選択プロセスを、長期戦略的価値を有するマルチラウンドの組み合わせゲームとしてモデル化すること。
• 即時の勝利確率ではなく、将来のラウンド結果を優先する価値推定機構を設計すること。
• 100体以上の英雄を有するHonor of Kingsのような大規模なMOBAゲームにおいて、選択の効率性と効果性を向上させること。
• 実世界のMOBAプレイや人間プレイヤーの支援に応用可能な実用的でスケーラブルなAI選択システムを開発すること。

提案手法

• MOBAの選択プロセスを、複数のマッチにわたるチーム選択をモデル化するマルチラウンドの組み合わせゲームとして定式化する。
• 完全なスタメンの結果を推定するニューラルネットワークベースの勝率予測器を統合する。
• 長期的価値関数を用いたモンテカルロ木探索（MCTS）を適用し、即時の利得を超えた選択意思決定を支援する。
• ネストオブ-Nシリーズにおけるすべてのラウンドの平均予測勝率を最大化する価値メカニズムを設計する。
• ニューラルネットワークを用いたシミュレーテッドロールアウトにより価値を推定し、大規模な英雄プールにおける全探索を回避する。
• 将来の選択状態と相手のカウンタープレイを考慮する非グリーディ戦略を実装し、長期的な勝利確率を向上させる。

実験結果

リサーチクエスチョン

• RQ1 MOBAゲームにおける英雄選択を、どのようにマルチラウンドの組み合わせゲームとして効果的にモデル化できるか？
• RQ2 ニューラルネットワークベースの価値推定器は、単一ラウンド最適化を越えて選択意思決定を改善できるか？
• RQ3 MCTSにおける長期的価値メカニズムは、グリーディ戦略や単一ラウンド戦略に比べ、ネストオブ-N MOBAシリーズでより優れたパフォーマンスをもたらすか？
• RQ4 100体以上の英雄を含む大規模な英雄プールにおいて、計算効率を維持したままスケーリングできるか？
• RQ5 本手法は、OpenAI Five や DraftArtist といった既存手法に比べ、実世界のMOBA環境でどの程度優れているか？

主な発見

• JueWuDraftは、Honor of Kingsにおけるすべての実験設定で、最先端の手法、特にOpenAI Five や DraftArtist を上回った。
• 特に大規模な英雄プールや複雑な選択シーケンスの処理において、優れた効率性と効果性を示した。
• 即時の予測勝率が最も高い英雄を選択するグリーディ選択を避け、長期的な戦略的バランスを最優先することで、優れた性能を発揮した。
• ネストオブ-3シリーズにおいて、初戦の勝率がわずかに低い場合でも、2回目以降のラウンドでの予測勝率が高くなるように英雄を選択した。
• 長期的価値メカニズムにより、複数ラウンドにわたる安定した一貫性あるパフォーマンスが実現され、初期ラウンドの優位性への依存が減少した。
• 本手法は、実世界の応用にすでに導入されており、PVEモードやHonor of Kingsにおける人間プレイヤー向けの英雄推薦にも活用されている。