[論文レビュー] Multi-Agent Trust Region Policy Optimization

Hepeng Li, Haibo He|arXiv (Cornell University)|Oct 15, 2020

Reinforcement Learning in Robotics参考文献 32被引用数 10

ひとこと要約

本稿では、協調的部分的に観測可能なマルコフゲーム（POMG）を対象として、信頼領域方策最適化（TRPO）に基づく完全に分散型のマルチエージェント強化学習（MARL）アルゴリズムを提案する。TRPOの方策更新をADMMを用いた分散型コントセンサス最適化に再定式化することで、エージェントは中央コントローラーやグローバルステート、共有パラメータを必要とせず、ピアツーピア通信によって局所的な方策比のみを共有する。この手法は、中央集権的協調なしに安定した学習と優れた性能を達成する。

ABSTRACT

We extend trust region policy optimization (TRPO) to multi-agent reinforcement learning (MARL) problems. We show that the policy update of TRPO can be transformed into a distributed consensus optimization problem for multi-agent cases. By making a series of approximations to the consensus optimization model, we propose a decentralized MARL algorithm, which we call multi-agent TRPO (MATRPO). This algorithm can optimize distributed policies based on local observations and private rewards. The agents do not need to know observations, rewards, policies or value/action-value functions of other agents. The agents only share a likelihood ratio with their neighbors during the training process. The algorithm is fully decentralized and privacy-preserving. Our experiments on two cooperative games demonstrate its robust performance on complicated MARL tasks.

研究の動機と目的

• 中央集権的トレーニングの限界、例えば単一障害点、スケーラビリティの問題、プライバシー懸念を解消すること。
• 協調的部分的に観測可能な環境において、TRPOの安定性とサンプル効率を維持する完全に分散型のMARLアルゴリズムを開発すること。
• グローバル情報や中央コントローラーに依存せずに、エージェントが局所的観測とピアツーピア通信のみで効果的な方策を学習できるようにすること。
• ADMMによる分散最適化を通じて、TRPOの信頼領域フレームワークをマルチエージェントシステムに拡張すること。

提案手法

• 交替方向乗数法（ADMM）を用いて、TRPOにおける方策更新ルールを分散型コントセンサス最適化問題に再定式化する。
• エージェントは局所的凸化と信頼領域制約を用いて、グローバルステートや報酬情報がなくても安定した方策更新を保証する。
• エージェントは、完全な方策や価値ネットワークではなく、隣接エージェントとの間で局所的な方策比のみを交換するピアツーピア通信プロトコルを採用する。
• 増加ラグランジュアンにおける双対変数とペナルティ項を用いて、エージェント間の方策と勾配のコントセンサスを強制する。
• 一次最適性条件を用いて最適な方策更新を導出し、方策パラメータ、双対変数、コントセンサス変数に対して閉形式の更新式を得る。
• 解は分散型に実装される：各エージェントは、局所的勾配と隣接エージェントからのメッセージに基づいて自らの方策更新を計算する。

実験結果

リサーチクエスチョン

• RQ1 部分的に観測可能な状況下で、TRPOの信頼領域方策最適化が協調的マルチエージェントシステムに効果的に拡張可能か？
• RQ2 中央コントローラーが存在しない状況でも、完全に分散型のMARLアルゴリズムがTRPOのサンプル効率と安定性を維持できるか？
• RQ3 協調的環境における効果的なマルチエージェント方策学習に、局所的な方策比のピアツーピア通信が十分か？
• RQ4 性能とスケーラビリティの観点から、本手法は中央集権的トレーニング手法と比べてどのように差がつくか？

主な発見

• 提案手法は、中央コントローラーやグローバル情報がなくても、協調的マルチエージェント環境で安定的かつ効果的な学習を達成する。
• 実験の結果、中央集権的トレーニングのベースラインと同等またはそれ以上の性能を示した。
• グローバルステートや報酬信号が欠如している状況でも、信頼領域制約により方策の安定性が確実に維持された。
• エージェントは、中央集権的協調なしに、局所的な方策比のピアツーピア交換により高い累積報酬を達成し、効果的な協調を実現した。
• 完全に分散型の設計により、中央集権的アプローチと比較して通信および計算のオーバーヘッドが低減され、スケーラビリティに優れた性能を発揮した。