[論文レビュー] Hierarchical Reinforcement Learning for Multi-agent MOBA Game

Zhijian Zhang, Hao‐Zheng Li+8 more|arXiv (Cornell University)|Jan 23, 2019

Reinforcement Learning in Robotics参考文献 15被引用数 16

ひとこと要約

本稿では、『キング・オブ・グラーヴァ』のようなマルチプレイヤーアバトラゲーム（MOBA）における階層的強化学習（HRL）フレームワークを提案する。マクロ戦略意思決定には模倣学習を、マイクロ操作には深層強化学習を組み合わせた。5v5モードにおいては、ブロンズレベルのAIと対戦し100%の勝率を記録し、PPOベースラインを著しく上回り、サンプル効率的でAPI非依存の学習が有効であることを示している。

ABSTRACT

Real Time Strategy (RTS) games require macro strategies as well as micro strategies to obtain satisfactory performance since it has large state space, action space, and hidden information. This paper presents a novel hierarchical reinforcement learning model for mastering Multiplayer Online Battle Arena (MOBA) games, a sub-genre of RTS games. The novelty of this work are: (1) proposing a hierarchical framework, where agents execute macro strategies by imitation learning and carry out micromanipulations through reinforcement learning, (2) developing a simple self-learning method to get better sample efficiency for training, and (3) designing a dense reward function for multi-agent cooperation in the absence of game engine or Application Programming Interface (API). Finally, various experiments have been performed to validate the superior performance of the proposed method over other state-of-the-art reinforcement learning algorithms. Agent successfully learns to combat and defeat bronze-level built-in AI with 100% win rate, and experiments show that our method can create a competitive multi-agent for a kind of mobile MOBA game {\it King of Glory} in 5v5 mode.

研究の動機と目的

• ゲームエンジンやAPIにアクセスできない環境において、効果的なAIエージェントを訓練する課題に対処すること。
• 複雑で高次元のMOBA環境における報酬の疎らさと遅延を解消し、密でリアルタイムの報酬形状を実現すること。
• グローバルな状態表現と通信メカニズムを用いて、5v5のMOBAシナリオにおける効率的なマルチエージェント協調を可能にすること。
• 過去の成功した意思決定を活用する自己学習手法を導入することで、深層強化学習のサンプル効率を向上させること。
• 動画ベースの特徴抽出と軽量なマルチターゲット検出を用いて、モバイルデバイスに適した学習パイプラインを開発すること。

提案手法

• 2段階の階層的強化学習アーキテクチャを実装：マクロ戦略エージェントは人間のプレイデータから模倣学習により移動や戦術的意思決定を学び、マイクロアクションエージェントはPPOベースの強化学習によりリアルタイムのスキル使用と戦闘を最適化する。
• 目的への接近度、敵の撃破、チーム連携に基づくフィードバックを提供する密なリアルタイム報酬関数を設計し、ゲームエンジンのAPIにアクセスできない状況下でも機能する。
• ゲーム画面フレームからグローバル状態特徴（味方／敵の位置、タワー状態など）を抽出するため、マルチターゲット検出を統合する。
• ナビゲーション意思決定の効率化と探索時間の短縮を図るため、A*パスファインディングを適用する。
• 現在のポリシーと過去の高パフォーマンスなロールアウトを比較する自己学習メカニズムを導入し、ポリシーの最適化と収束速度の向上を図る。
• データ収集の並列化とモバイルデバイス上での学習時間短縮を目的に、分散型サンプリングプラットフォームを導入する。

実験結果

リサーチクエスチョン

• RQ1 ゲームエンジンのAPIやリプレイにアクセスできない状況下で、模倣学習と深層強化学習を統合した階層的RLフレームワークが、MOBAゲームで優れたパフォーマンスを発揮できるか？
• RQ2 密でリアルタイムの報酬関数は、報酬が疎らなMOBA環境におけるサンプル効率と学習安定性を向上させるのにどの程度有効か？
• RQ3 過去の成功したロールアウトから自己学習を行うことで、マルチエージェントMOBA環境におけるポリシー収束と勝率はどの程度向上するか？
• RQ4 グローバル状態表現にマルチターゲット検出を統合することで、マルチエージェントの協調性とチームパフォーマンスはどの程度向上するか？
• RQ5 提案されたHRLフレームワークは、リソース制限のあるモバイルデバイス上でも、『キング・オブ・グラーヴァ』のようなモバイルMOBAゲームで人間レベルまたはそれ以上のパフォーマンスを達成できるか？

主な発見

• 提案されたHRLフレームワークは、5v5モードでブロンズレベルのAIと対戦し、100%の勝率を記録し、優れた一般化性能と戦術的熟練度を示した。
• 1v1モードでは、簡単レベルのAIに対して89%、中級レベルのAIに対して83%の勝率を記録し、PPOベースライン（それぞれ62%および60%）を著しく上回った。
• 自己学習手法により学習効率が向上し、平均報酬が正の値を示し、時間経過とともにパフォーマンスが向上した。収束は約600エピソード後に安定した。
• アブレーションスタディにより、各コンponentの重要性が確認された。マクロ戦略、マルチエージェント協調、グローバル報酬、自己学習のいずれかを削除すると、勝率は52–60%に低下し、それらが不可欠であることが示された。
• マルチターゲット検出は5v5モードで82%、1v1モードで80%の精度を達成し、チーム協調に不可欠な信頼性の高いグローバル状態入力を提供した。
• ゲームエンジンやAPIにアクセスできない状況下でも、競争力のあるパフォーマンスを達成した。これは、モバイルプラットフォーム上でエンドツーエンドのビデオベース学習が可能であることを実証した。