[論文レビュー] Coordination in Adversarial Sequential Team Games via Multi-Agent Deep Reinforcement Learning

Andrea Celli, Marco Ciccone+2 more|arXiv (Cornell University)|Dec 16, 2019

Evolutionary Game Theory and Cooperation被引用数 5

ひとこと要約

本稿では、外部信号を用いて、事前知識や明示的なゲームツリー表現を必要とせずに、敵対的逐次ゲームにおいてチームが近似的最適な協調戦略を学習できる、マルチエージェント深層強化学習フレームワークであるSoft Team Actor-Critic（STAC）を提案する。STACは、無意味な信号に対して共有の意味を学習することで、チームメンバーが暗黙的に協調できるようにし、従来の深層強化学習手法が失敗する完全観測可能および部分的観測可能ゲームにおいても優れた性能を達成する。

ABSTRACT

Many real-world applications involve teams of agents that have to coordinate their actions to reach a common goal against potential adversaries. This paper focuses on zero-sum games where a team of players faces an opponent, as is the case, for example, in Bridge, collusion in poker, and collusion in bidding. The possibility for the team members to communicate before gameplay---that is, coordinate their strategies ex ante---makes the use of behavioral strategies unsatisfactory. We introduce Soft Team Actor-Critic (STAC) as a solution to the team's coordination problem that does not require any prior domain knowledge. STAC allows team members to effectively exploit ex ante communication via exogenous signals that are shared among the team. STAC reaches near-optimal coordinated strategies both in perfectly observable and partially observable games, where previous deep RL algorithms fail to reach optimal coordinated behaviors.

研究の動機と目的

• プレイ中に通信ができないが、事前に協調できるマルチエージェントのチームを敵対的逐次ゲームで協調させる課題に対処すること。
• 明示的なゲームツリー表現やドメイン固有の抽象化を必要とせず、スケーラブルでモデルフリーな深層強化学習手法を構築し、協調戦略を学習すること。
• 履歴に基づく協調が失敗する部分的観測環境において、整合的な外部信号送信メカニズムを導入することで、効果的な協調を実現すること。
• チームメンバーが初期には情報のない信号に対して共有の意味を学習し、最適または近似的最適なチーム行動を実現できることを示すこと。
• 特に従来の手法が協調行動を達成できない不完全情報設定において、既存の深層強化学習アルゴリズムを上回ること。

提案手法

• STACは、中央集権的訓練・分散的実行のフレームワークを採用し、各エピソードの開始時に共有の相関デバイス（外部信号）をサンプリングする。
• ポリシーおよび価値ネットワークは、ハイパーネットを用いて外部信号に条件付けられ、信号依存の行動学習が可能になる。
• アルゴリズムは、チームメンバーが信号と協調行動の間に意味のある関連性を学習するよう促すために、相互情報量正則化をSoft Actor-Critic（SAC）に拡張する。
• 明示的なゲームツリー表現や事前ドメイン知識を必要とせず、rawな経験からエンドツーエンドでポリシーを訓練する。
• 完全観測可能および部分的観測可能な環境の両方をサポートし、信号に基づくポリシー条件付けによって協調が生じる。
• 共有信号を相関デバイスとして活用することで、Team-Maximizing Correlated Equilibria（TMECor）を暗黙的に学習するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント深層強化学習は、事前知識や明示的なゲームツリー表現がなくても、敵対的逐次ゲームで効果的な協調を学習できるか？
• RQ2 初期には情報のない外部信号を用いて、チームメンバーが共有の意味を学習し、協調行動を達成できるか？
• RQ3 提示された信号送信フレームワークは、部分的観測環境において履歴に基づく協調を上回るか？
• RQ4 STACは、従来の深層強化学習手法が失敗する完全観測可能および部分的観測可能ゲームにおいて、近似的最適なパフォーマンスを達成できるか？
• RQ5 大規模または複雑なゲームにおいて、チームの協調戦略が最適なTeam-Maximizing Correlated Equilibrium（TMECor）にどの程度近づけるか？

主な発見

• STACは、従来の深層強化学習アルゴリズムが協調に失敗する完全観測可能および部分的観測可能ゲームにおいても、近似的最適な協調戦略を効果的に学習した。
• 部分的観測可能な協調ゲームにおいて、STACは特定の行動を異なる外部信号に関連付けることで最適な行動を達成し、履歴のみのベースラインを上回った。
• 信号の数を3つに増加した場合、チームメンバーは信号の観測に基づき、より高い報酬を得る終端状態へと協調的に行動し、理論的なTMECorと一致した。
• ラデュックポーカー（完全観測可能ゲーム）において、STACは強力な協調を達成し、信号送信の追加により履歴のみの条件付けを上回るパフォーマンスを示した。
• この手法は、事前通信プロトコルがなくても、初期には情報のない信号に対してチームメンバーが暗黙的に共有の意味を学習し、効果的な協調を実現できることを示した。
• 明示的なゲームツリー表現やドメイン固有の抽象化を必要とせず、標準ベンチマークで競争力のあるパフォーマンスを示し、スケーラビリティと一般化能力を実証した。