[論文レビュー] Learning to Play No-Press Diplomacy with Best Response Policy Iteration

Thomas Anthony, Tom Eccles+12 more|arXiv (Cornell University)|Jun 8, 2020

Artificial Intelligence in Games参考文献 108被引用数 18

ひとこと要約

本稿は、7人同時手番で大規模な組み合わせ的行動空間を持つ、No-Press Diplomacyという挑戦的なゲームである7人プレイヤーの同時手番ゲームにおいて、深層強化学習エージェントを訓練するための新規な方策反復フレームワークを紹介する。この手法は、先行する最先端のエージェントと比較して優れた性能を発揮し、自己対戦および集団ベースの評価において一貫した向上を示しており、ゲーム理論的分析により、より低い利用可能性（exploitability）が確認されている。

ABSTRACT

Recent advances in deep reinforcement learning (RL) have led to considerable progress in many 2-player zero-sum games, such as Go, Poker and Starcraft. The purely adversarial nature of such games allows for conceptually simple and principled application of RL methods. However real-world settings are many-agent, and agent interactions are complex mixtures of common-interest and competitive aspects. We consider Diplomacy, a 7-player board game designed to accentuate dilemmas resulting from many-agent interactions. It also features a large combinatorial action space and simultaneous moves, which are challenging for RL algorithms. We propose a simple yet effective approximate best response operator, designed to handle large combinatorial action spaces and simultaneous moves. We also introduce a family of policy iteration methods that approximate fictitious play. With these methods, we successfully apply RL to Diplomacy: we show that our agents convincingly outperform the previous state-of-the-art, and game theoretic equilibrium analysis shows that the new process yields consistent improvements.

研究の動機と目的

• 組み合わせ的行動空間が大きく、同時に手を打つゲーム、例えばDiplomacyのようなマルチエージェントゲームにスケーラブルな強化学習手法を開発すること。
• 協力と競争が共存する非ゼロサム、多数プレイヤーのゲームにおいて、従来の強化学習手法の限界を克服すること。
• Diplomacyの行動空間の複雑さとターンベースの同時進行性に対処できる、近似されたベストリスポンス演算子を設計すること。
• マルチエージェント環境において、仮想的反復最適応答（fictitious play）と繰り返しベストリスポンスを近似する方策反復手法を適用すること。
• 自己対戦および集団ベースの評価を通じて、実験的に本手法の優位性を検証すること。

提案手法

• 大規模な組み合わせ的行動空間と同時手番を想定した、スケーラブルな近似ベストリスポンス演算子としてのサンプリングされたベストリスポンス（SBR）を提案する。
• マルチエージェント環境において、仮想的反復最適応答と繰り返しベストリスポンスを近似する方策反復の変種を導入する。
• ゲーム状態と方策を表現するために、人間のプレイデータセットからの模倣学習によって初期化されたグラフニューラルネットワーク（GNN）を用いる。
• エントロピー正則化を含む正則化された方策最適化目的関数を採用し、探索性と安定性を高める。
• 収束性と利用可能性の改善を評価するために、ゲーム理論的均衡分析を適用する。
• 少量のサンプルを用いた利用可能性測定（few-shot exploitability metric）を用い、エージェントの脆弱性を定量化および低減する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、組み合わせ的行動空間が大きく、同時に手を打つ7人プレイヤーのゲーム、No-Press Diplomacyに成功裏に適用可能か？
• RQ2 提案されたSBRに基づく方策反復フレームワークは、Diplomacyにおいて、先行する最先端エージェントと比較して一貫した性能向上をもたらすか？
• RQ3 少量のサンプルを用いた利用可能性測定によって測定された場合、本手法はどの程度利用可能性を低減するか？
• RQ4 多数プレイヤーで、利害が混在する環境において、方策反復手法は仮想的反復最適応答と繰り返しベストリスポンスをどの程度正確に近似するか？
• RQ5 模倣学習とSBRに基づく方策反復を組み合わせることで、従来の強化学習微調整の失敗にもかかわらず、Diplomacyにおいて優れた性能が得られるか？

主な発見

• 提案されたエージェントは、ヘッド・トゥ・ヘッド対戦および集団ベースの評価において、以前の最先端エージェントDipNetを著しく上回っている。
• ゲーム理論的均衡分析において一貫した向上が得られており、利用可能性が低く抑えられ、より強固な戦略的行動が示されている。
• 少量のサンプルを用いた利用可能性測定により、強化学習エージェントが従来の手法よりも著しく利用されにくくなっているが、依然としてある程度の利用可能性を有している。
• Diplomacyのゲームツリーのサイズ推定値は、1ゲームあたり中央値で約$10^{896.8}$であり、最大の移動フェーズでは1ターンあたり$10^{64.3}$の合法的共同行動がある。
• 理論的収束結果が付録に提示されており、多数プレイヤーのゲームにおける仮想的反復最適応答の収束が示されている。
• SBR演算子は大規模な行動空間と同時手番に対処できており、複雑なマルチエージェント環境におけるスケーラブルな方策学習を可能にしている。