[論文レビュー] Actor-Critic Policy Optimization in Partially Observable Multiagent Environments

Sriram Srinivasan, Marc Lanctot+5 more|arXiv (Cornell University)|Oct 21, 2018

Reinforcement Learning in Robotics被引用数 71

ひとこと要約

この論文は、 actor-critic の方策勾配を部分的に観測されるマルチエージェントゲームにおける後悔最小化と結びつけ、後悔ベースの方策更新をポーカー領域で評価し、近似的な Nash 均衡への収束を示している。

ABSTRACT

Optimization of parameterized policies for reinforcement learning (RL) is an important and challenging problem in artificial intelligence. Among the most common approaches are algorithms based on gradient ascent of a score function representing discounted return. In this paper, we examine the role of these policy gradient and actor-critic algorithms in partially-observable multiagent environments. We show several candidate policy update rules and relate them to a foundation of regret minimization and multiagent learning techniques for the one-shot and tabular cases, leading to previously unknown convergence guarantees. We apply our method to model-free multiagent reinforcement learning in adversarial sequential decision problems (zero-sum imperfect information games), using RL-style function approximation. We evaluate on commonly used benchmark Poker domains, showing performance against fixed policies and empirical convergence to approximate Nash equilibria in self-play with rates similar to or better than a baseline model-free algorithm for zero sum games, without any domain-specific state space reductions.

研究の動機と目的

• マルチエージェント、部分観測設定のためのポリシー勾配と actor-critic 手法を動機づけ、形式化する。
• actor-critic 更新を後悔最小化とゲーム理論的観点の反事実的後悔と関連づける。
• 後悔に着想を得た複数の方策更新ルールを提案・分析する。
• 部分観測を伴う対立的逐次決定問題におけるモデルフリー、オンライン学習を実証する。

提案手法

• 後悔最小化に着想を得た複数の方策更新ルールを定義する。Regret Policy Gradient (RPG)、Regret Matching Policy Gradient (RMPG)、およびそれらの Q-learning 風の対応を含む。
• Bayes 正規化を介して、部分観測下の反事実値を標準的な Q 値と関連づけ、反事実的後悔の近似を導出する。
• 方策と価値の両方をニューラルネットワーク関数近似器で表現する actor-critic アーキテクチャを用い、モデルフリー、オンラインな方法でエンドツーエンドに学習する。
• PGPI/ACPI ダイナミクスを介した理論的接続と、表形式の二人零和の場合における後退律の下位線形性の証明を提供する。
• 方法を Kuhn ポーカーと Leduc ポーカーの零和でベースラインエージェントおよび CFR ベースのベンチマークと比較して評価する。

実験結果

リサーチクエスチョン

• RQ1 部分観測的マルチエージェント環境において、 actor-critic 手法は後悔最小化に基づいて成立し得るのか。
• RQ2 反事実的後悔は、部分観測とマルチエージェントの相互作用の下で標準的なアドバンテージ推定とどのように関係するのか。
• RQ3 オンラインかつモデルフリーで学習した場合、後悔に着想を得た actor-critic 更新は零和ポーカー設定で近似的な Nash 均衡へ収束するのか。
• RQ4 提案された更新（RPG、RMPG、QPG）のうち、対戦的逐次決定問題で実践的に最も良い性能を示すのはどれか。
• RQ5 これらの手法は CFR ベースのベースラインと収束速度やロバスト性の点でどのように比較されるのか。

主な発見

• Actor-critic の派生は Kuhn ポーカーおよび Leduc ポーカーで近似 Nash 均衡へ収束し、 CFR ベースのベースラインと同等かそれ以上の性能を示す。
• QPG と RPG は、報告された実験において、RMPG よりもポーカー領域全般で優れる傾向がある。
• 手法はモデルフリーかつオンラインで、広い遷移バッファを保持する必要がなく、良好な収束を達成する。
• RPG および QPG は、固定 CFR由来のボットに対して長期的に有利な性能を示し、自己対戦では NFSP ベースラインを上回ることが多い。
• この研究は、部分観測 MARL における後悔最小化と標準的なポリシー勾配更新との間に理論的な結びつきを確立する。
• すべての手法は領域特有の状態空間の縮約を伴わず、対戦的なマルチエージェント設定における一般化能力を示している。