[論文レビュー] Probabilistic Recursive Reasoning for Multi-Agent Reinforcement Learning

Ying Wen, Yaodong Yang+3 more|arXiv (Cornell University)|Jan 26, 2019

Reinforcement Learning in Robotics被引用数 51

ひとこと要約

PR2を紹介する。マルチエージェント深層強化学習の確率的再帰推論フレームワークで、変分ベイズを用いて相手の条件付き政策をモデル化し、自己対戦で収束保証を持つ分散型 PR2-Q と PR2-AC を導出する。

ABSTRACT

Humans are capable of attributing latent mental contents such as beliefs or intentions to others. The social skill is critical in daily life for reasoning about the potential consequences of others' behaviors so as to plan ahead. It is known that humans use such reasoning ability recursively by considering what others believe about their own beliefs. In this paper, we start from level-$1$ recursion and introduce a probabilistic recursive reasoning (PR2) framework for multi-agent reinforcement learning. Our hypothesis is that it is beneficial for each agent to account for how the opponents would react to its future behaviors. Under the PR2 framework, we adopt variational Bayes methods to approximate the opponents' conditional policies, to which each agent finds the best response and then improve their own policies. We develop decentralized-training-decentralized-execution algorithms, namely PR2-Q and PR2-Actor-Critic, that are proved to converge in the self-play scenarios when there exists one Nash equilibrium. Our methods are tested on both the matrix game and the differential game, which have a non-trivial equilibrium where common gradient-based methods fail to converge. Our experiments show that it is critical to reason about how the opponents believe about what the agent believes. We expect our work to contribute a new idea of modeling the opponents to the multi-agent reinforcement learning community.

研究の動機と目的

• エージェントの将来の行動に対して相手がどのように反応するかをモデル化するために、再帰的推論の利用を動機づける。
• 学習された条件付きポリシーを通じて相手がエージェントについて持つ信念を考慮する、確率的フレームワーク（PR2）を提案する。
• このフレームワークに基づく分散型訓練・分散型実行アルゴリズム（PR2-Q と PR2-AC）を開発する。
• 単一点のナッシュ均衡が存在する場合に自己対戦で理論的な収束保証を提供する。
• マトリックスゲーム、微分ゲーム、パーティクルワールド環境でベースラインよりも性能向上を示す。

提案手法

• エージェントの行動に対して相手がどのように反応するかを捉えるレベル-1 の再帰的分解で結合ポリシーをモデリングする。
• 相手の条件付きポリシーを変分推論を用いて近似し、rho^{-i}_{phi^{-i}}(a^{-i}|s,a^{i}) と表記する。
• 相手の条件付きポリシー下での期待Q値を取り込む多エージェントポリシー勾配を導出する（PR2-GD更新）。
• 相手のポリシーパラメータへのアクセスを必要としない、分散型訓練・分散型実行アルゴリズム（PR2-AC および PR2-Q）を提供する。
• PR2 のソフト値反復に対する収縮演算子を用いて、自己対戦で一意のナッシュ均衡が存在する場合のPR2 の収束を証明する。
• 連続作用空間で相手の条件付きポリシーからサンプリングするために、アモータイズド・ステイン変分勾配法（SVGD）を用いる。

実験結果

リサーチクエスチョン

• RQ1 相手の信念についての再帰的推論は、非相関的因子分解を超えてマルチエージェント強化学習の学習を改善できるか？
• RQ2 変分推論をどのように用いて、扱いやすく分散型の訓練設定で相手の条件付きポリシーをモデリングできるか？
• RQ3 単一のナッシュ均衡が存在する場合、PR2-Q と PR2-AC は自己対戦で均衡へ収束するか？
• RQ4 PR2 手法はマトリックスゲーム、微分ゲーム、パーティクルワールド環境で標準的なベースラインより優れているか？
• RQ5 相手の信念について推論することが、連続アクション空間における探索と収束にどのような影響を与えるか？

主な発見

• PR2 は相手が自分の行動にどのように反応するかを考慮できるようにし、ベースラインと比較して学習成果を改善する。
• ナッシュ均衡が1つ存在する自己対戦シナリオで PR2-Q と PR2-AC が収束する。
• 反復マトリックスゲームで、PR2 は Infinitesimal Gradient Ascent が観測する収束しない回転ダイナミクスを回避し、中心となる均衡に到達する。
• Max of Two Quadratics 微分ゲームでは、PR2-AC がグローバルな均衡へ収束する一方、多くのベースラインは局所最適に閉じ込められる。
• Particle World 環境の協調・競合設定で、特に分散型実行において PR2 手法は優れた性能を示す。
• Variational inference は相手の条件付きポリシーを近似する現実的な手段を提供し、スケーラブルな多-agent 推論を可能にする。