[論文レビュー] The Art of Drafting: A Team-Oriented Hero Recommendation System for Multiplayer Online Battle Arena Games

Zhengxing Chen, Truong-Huy D. Nguyen+5 more|arXiv (Cornell University)|Jun 26, 2018

Artificial Intelligence in Games参考文献 28被引用数 11

ひとこと要約

本稿では、英雄同士の相性関係や相反関係を考慮して、チーム指向のヒーロー推薦システムを提案する。モンテカルロ木探索（MCTS）を用いて、戦略的最適化に基づくヒーロー選択を実現している。このシステムは、ドラフトを組み合わせゲームとしてモデル化し、シミュレーションを通じてMCTSベースの推薦がベースラインを著しく上回ることを示している。強敵相手に対し、最大62.7％の予測勝率を達成した。

ABSTRACT

Multiplayer Online Battle Arena (MOBA) games have received increasing popularity recently. In a match of such games, players compete in two teams of five, each controlling an in-game avatars, known as heroes, selected from a roster of more than 100. The selection of heroes, also known as pick or draft, takes place before the match starts and alternates between the two teams until each player has selected one hero. Heroes are designed with different strengths and weaknesses to promote team cooperation in a game. Intuitively, heroes in a strong team should complement each other's strengths and suppressing those of opponents. Hero drafting is therefore a challenging problem due to the complex hero-to-hero relationships to consider. In this paper, we propose a novel hero recommendation system that suggests heroes to add to an existing team while maximizing the team's prospect for victory. To that end, we model the drafting between two teams as a combinatorial game and use Monte Carlo Tree Search (MCTS) for estimating the values of hero combinations. Our empirical evaluation shows that hero teams drafted by our recommendation algorithm have significantly higher win rate against teams constructed by other baseline and state-of-the-art strategies.

研究の動機と目的

• MOBAゲームにおける最適なヒーローチーム編成の選択という課題に取り組む。ここでのヒーロー選択は、味方と相性が良く、相手を効果的にカウンターする必要がある。
• データ駆動の推薦によりドラフトの質を向上させることで、プレイヤーのいらだちや悪質な行動を軽減する。
• ドラフトプロセスを、完全情報、2人零和、逐次的組み合わせゲームとしてモデル化する。
• 膨大なヒーロー組み合わせの探索空間を効率的に探索できるスケーラブルな推薦システムを開発する。
• 実際のドラフトルールに従ったシミュレーション実験を通じて、システムの性能を確立されたベースラインと比較評価する。

提案手法

• ドラフトプロセスを、状態、行動（ピックとバン）、および予測勝率に基づく報酬関数を持つ組み合わせゲームとして形式化する。
• 効率的なヒーロー組み合わせ探索を可能にするために、変更を加えたUCT（木への上位信頼区間適用）アルゴリズムを用いてモンテカルロ木探索を実行する。
• 報酬関数は、トレーニング済みの予測器を用いてチームの勝率を推定し、終端状態におけるバン済みヒーローを0値の要素として扱う。
• 複数のシミュレーションにわたって、選択頻度加重サンプリングとバックプロパゲーションを用いて、行動価値を精緻化する。
• All RankedおよびCaptain Modeの両方のドラフトルールをサポートする。状態表現は、1（Radiantピック）、-1（Direピック）、Ξ（バン済み）、0（未選択）の値を持つベクトルで動的に表現する。
• 十分な計算リソースが与えられれば、収束が保証される反復的MCTSフレームワークを用いて、各ターンにおける次なる最適ヒーロー選択を決定する。

実験結果

リサーチクエスチョン

• RQ1 シミュレーションベースのMCTSアプローチは、MOBAゲームにおけるチーム勝率を最大化するヒーロー選択を効果的に推薦できるか？
• RQ2 MCTSベースの推薦の性能は、ランダムドラフト（RD）、適応的反応（AR）、最高勝率（HWR）といったベースライン戦略と比べてどうか？
• RQ3 Captain Modeのようなより複雑なドラフトルール下でも、MCTSシステムは性能を維持または向上できるか？
• RQ4 シミュレーションベースの計画統合は、ヒューリスティック的または静的勝率選択と比較して、戦略的深さをどのように向上させるか？
• RQ5 パrameterチューニング（例：探索定数c）は、システムの予測精度および勝率にどのような影響を与えるか？

主な発見

• UCTベースの推薦システムは、Captain ModeにおいてHWRベースラインに対して62.7％の予測勝率を達成した。これは、All Rankedモードでの61.1％の勝率を上回る結果であった。
• UCT戦略は、すべてのベースラインを一貫して上回り、特にUCT1600,2−1が両方のドラフトルールセットにおいて最強の設定であった。
• Captain Modeでは、MCTSベースの戦略がベースラインを1〜3パーセンテージポイントの絶対的差で上回った。これは、より深い計画立案の利点を示している。
• システムは計算コストをほとんど増加させず、All Rankedシミュレーションと比較して、ピックごとの平均ウォールタイムに顕著な増加がなかった。
• MCTSアルゴリズムは、十分な計算リソースが与えられれば、近似的最適ピックに収束することが確認され、理論的に改善が保証された。
• 結果から、MCTSを用いたシミュレーションベース探索が、複雑なヒーロー相互作用空間を効果的に探索し、チーム編成の質を向上させることを確認した。