[論文レビュー] Mastering Complex Control in MOBA Games with Deep Reinforcement Learning

Deheng Ye, Zhao Liu+16 more|arXiv (Cornell University)|Dec 20, 2019

Reinforcement Learning in Robotics参考文献 22被引用数 25

ひとこと要約

本論文では、Tencent Solo と呼ばれるAIエージェントが、『Honor of Kings』のような1v1 MOBAゲームにおける複雑なアクション制御を習得できる、深層強化学習フレームワークを提示する。スケーラブルなオフポリシー学習システムと、制御依存関係の分離、アクションマスク、ターゲットアテンション、デュアルクリップPPOといったアルゴリズム的革新を組み合わせることで、エージェントは人間の上位プロプレーヤーを多様なキャラクター種別で上回る超人レベルのパフォーマンスを達成した。

ABSTRACT

We study the reinforcement learning problem of complex action control in the Multi-player Online Battle Arena (MOBA) 1v1 games. This problem involves far more complicated state and action spaces than those of traditional 1v1 games, such as Go and Atari series, which makes it very difficult to search any policies with human-level performance. In this paper, we present a deep reinforcement learning framework to tackle this problem from the perspectives of both system and algorithm. Our system is of low coupling and high scalability, which enables efficient explorations at large scale. Our algorithm includes several novel strategies, including control dependency decoupling, action mask, target attention, and dual-clip PPO, with which our proposed actor-critic network can be effectively trained in our system. Tested on the MOBA game Honor of Kings, our AI agent, called Tencent Solo, can defeat top professional human players in full 1v1 games.

研究の動機と目的

• MOBA 1v1ゲームにおけるアクション空間と状態空間の極めて高い複雑性に対処すること。これは、ゴーやアーケードゲームのそれらを桁違いに上回る。
• マルチエージェント競合環境における大規模なオフポリシー学習を可能にする、スケーラブルで低結合な深層強化学習システムの開発。
• 人間の示範データに依存せずに、多様なキャラクター種別と複雑なマイクロマネジメントアクションをモデル化できる統合的かつ強固なニューラルネットワークアーキテクチャの設計。
• 計画、だまし、正確なスキルコンboを要するリアルタイムで部分観測可能な戦闘状況において、トッププロプレーヤーを上回るAIエージェントの実現。

提案手法

• 大規模なスケーリングに適した、高いモジュラリティと低結合性を備えたオフポリシー深層強化学習システム。
• マルチモーダルな入力符号化、分離された制御依存関係、LSTMを用いたスキルコンボモデリングを備えたアクター・クリティックニューラルネットワーク。
• 探索中に無効なアクションを制限するアクションマスク。高次元のアクション空間におけるサンプル効率の向上に寄与。
• 複雑で変化し続ける戦闘状況において、最適なターゲットを動的に選択するためのターゲットアテンションメカニズム。
• 学習の安定化と収束を確保するデュアルクリップPPOアルゴリズム。高複雑度環境下で標準PPOを上回る性能を発揮。
• 探索の向上と収束速度の加速を目的とした、フルロールアウト（FR）およびランダム初期フレーム（RIF）戦略の活用。

実験結果

リサーチクエスチョン

• RQ1 極めて高次元の状態空間とアクション空間を持つ1v1 MOBAゲームにおいて、深層強化学習エージェントが人間レベルまたは超人レベルのパフォーマンスを達成できるか？
• RQ2 制御依存関係とアクション空間の複雑さを効果的に分離することで、複雑なリアルタイム戦略ゲームにおける安定した学習を実現できるか？
• RQ3 アテンションメカニズムとアクションマスクは、部分観測可能で動的変化する戦闘環境において、どれほどサンプル効率とポリシー性能を向上させるか？
• RQ4 統合的で汎用性のある深層強化学習フレームワークは、MOBA 1v1環境において、著しく異なるプレイスタイルを示す多様なキャラクター種別に一般化可能か？
• RQ5 大規模なMOBA学習において、最適な収束とパフォーマンスをもたらす学習設定（例：フルロールアウト対部分ロールアウト、RIF対ZS）は何か？

主な発見

• 提案されたフレームワークで学習されたAIエージェントTencent Soloは、1v1 Honor of Kingsの対戦でトッププロプレーヤーに対して70％～80％の勝率を達成した。
• フルロールアウト（FR）の使用によりAIパフォーマンスが顕著に向上し、1000～3000フレームの部分ロールアウト（PR）と比較して、勝率が70～80％に上昇した。
• ランダム初期フレーム（RIF）は学習収束を15％加速したが、最終的なAI能力はわずかに低下し、ゼロスタート（ZS）初期化と比較して40％の勝率となった。
• ターゲットアテンションとLSTMモジュールの組み合わせにより、エージェントの複雑なスキルコンボの処理能力と動的ターゲット選択能力が向上した。
• 制御依存関係の分離とアクションマスクは、高次元アクション空間におけるより効率的な探索とポリシーの安定性向上に寄与した。
• デュアルクリップPPOアルゴリズムは、MOBA 1v1の複雑で報酬が疎らな構造を考慮した上で、安定した学習収束を確保し、標準PPOを上回った。