[論文レビュー] No Press Diplomacy: Modeling Multi-Agent Gameplay

Philip Paquette, Yuchen Lu+7 more|arXiv (Cornell University)|Sep 4, 2019

Opinion Dynamics and Social Influence被引用数 15

ひとこと要約

この論文では、15万件のヒューマンゲームの教師あり学習と自己対戦強化学習による微調整を経て学習された、No Press Diplomacyにおける神経ネットワークベースのポリシー・モデル、DipNetを紹介する。このモデルは、サポート・オーダーを通じた効果的な戦術的協調と協力行動を示し、最先端の性能を達成している。

ABSTRACT

Diplomacy is a seven-player non-stochastic, non-cooperative game, where agents acquire resources through a mix of teamwork and betrayal. Reliance on trust and coordination makes Diplomacy the first non-cooperative multi-agent benchmark for complex sequential social dilemmas in a rich environment. In this work, we focus on training an agent that learns to play the No Press version of Diplomacy where there is no dedicated communication channel between players. We present DipNet, a neural-network-based policy model for No Press Diplomacy. The model was trained on a new dataset of more than 150,000 human games. Our model is trained by supervised learning (SL) from expert trajectories, which is then used to initialize a reinforcement learning (RL) agent trained through self-play. Both the SL and RL agents demonstrate state-of-the-art No Press performance by beating popular rule-based bots.

研究の動機と目的

• 明示的な通信なしにヒューマン・プレイのデータから学習する、完全にエンドツーエンドのニューラル・ネットワーク・ポリシーをNo Press Diplomacy用に開発すること。
• 自己対戦強化学習とは対照的に、エキスパートの軌道からの教師あり学習が、非協力的で高リスクなマルチエージェント環境において、より協力的なエージェントを生み出せるかどうかを評価すること。
• 自己対戦とエキスパート・イミテーション訓練の両方において、支持オーダーを通じた協調行動の出現を分析すること。
• 複雑なアクション空間を有する豊かな逐次的ソーシャル・ディーラムにおいて、Diplomacyを動的協力のベンチマークとして確立すること。

提案手法

• 15万件を超えるヒューマン・プレイされたNo Press Diplomacyゲームの新規データセットを用いて、エキスパートの軌道からの教師あり学習により、深層ニューラル・ネットワーク・ポリシー（DipNet）を訓練する。
• 自己対戦による強化学習エージェントを、教師ありポリシーをウォームスタートとして初期化することで、サンプル効率と収束性を向上させる。
• 長時間スパンの依存関係とサポート・オーダー予測をモデル化するため、トランスフォーマー基盤のアーキテクチャにFiLM条件付けとマスクドデコーダーヘッドを採用する。
• DAIDEと互換性のあるカスタムゲームエンジンを実装し、再現可能でトーナメント形式のベンチマーク評価を可能にする。
• ラウンドロビン形式のトーナメントでエージェントをランク付けするため、TrueSkillを用いて性能を統計的に比較する。
• Xサポート比と有効Xサポート比を用いたコалиション分析により、サポート・オーダーにおける協力の頻度と効率を定量化する。

実験結果

リサーチクエスチョン

• RQ1 明示的な通信なしにヒューマン・プレイのデータから学習したニューラル・ネットワーク・ポリシーは、ルールベースのボットを上回る性能を発揮できるか？
• RQ2 エキスパートの軌道からの教師あり学習と自己対戦強化学習を比較した場合、特にサポート・オーダーの協調行動において、どちらがより協力を促進するか？
• RQ3 アーキテクチャ設計（例：FiLM、ボード状態符号化）が、効果的なクロスパワー支援オーダーを予測する能力に与える影響はどの程度か？
• RQ4 No Press Diplomacyでは明示的な通信がないにもかかわらず、協力が出現するか。また、その出現はどのように定量的に測定できるか？

主な発見

• 教師あり学習（SL）エージェントは、自己対戦強化学習（RL）エージェント（5.3%）よりも高い有効なクロスパワー支援比（10.2%）を達成しており、より効果的な協力が実現していることが示された。
• TrueSkillスコアは類似しているにもかかわらず、RLエージェントはSLエージェント（7.4%）よりも高いクロスパワー支援オーダー発行率（9.1%）を示したが、その有効性は低く、協力の頻度と有用性のトレードオフが生じていることが示唆された。
• アブレーションスタディの結果、FiLM条件付けを削除すると協力の有効性が低下し、文脈に応じた支援意思決定のモデリングにおいてその重要性が確認された。
• マスクドデコーダーのバリエーション（ボード状態入力を欠如）は、最高のXサポート比（12.1%）を示したが、有効協力はほぼゼロ（0.62%）にとどまり、単なる支援頻度の高さが戦略的有用性を意味しないことを実証した。
• SLエージェントは、トーナメント戦ですべてのルールベースのベースラインを上回り、No Press設定における最先端の性能を示した。
• ヘッド・トゥ・ヘッドの対戦では、RLエージェントがSLエージェントに対して一貫した勝率の優位を示し、協力の弱さにもかかわらず、競争的プレイにおける一般化能力に優れていることが示された。