[論文レビュー] Cooperative Multi-Agent Reinforcement Learning with Partial Observations

Yan Zhang, Michael M. Zavlanos|arXiv (Cornell University)|Jun 18, 2020

Reinforcement Learning in Robotics参考文献 20被引用数 9

ひとこと要約

本稿では、部分観測下における協調的マルチエージェント強化学習（MARL）のための分散型ゼロ次順序方策最適化手法を提案する。エージェントはグローバル報酬の局所的コンSENSUSに基づく推定を用いて方策勾配を推定可能となる。主な貢献は、分散を低減し、サンプル効率を向上させる新規な残差フィードバック勾配推定器の導入であり、定常方策の近傍への収束を保証する定常ステップサイズのもとで有効である。

ABSTRACT

In this paper, we propose a distributed zeroth-order policy optimization method for Multi-Agent Reinforcement Learning (MARL). Existing MARL algorithms often assume that every agent can observe the states and actions of all the other agents in the network. This can be impractical in large-scale problems, where sharing the state and action information with multi-hop neighbors may incur significant communication overhead. The advantage of the proposed zeroth-order policy optimization method is that it allows the agents to compute the local policy gradients needed to update their local policy functions using local estimates of the global accumulated rewards that depend on partial state and action information only and can be obtained using consensus. Specifically, to calculate the local policy gradients, we develop a new distributed zeroth-order policy gradient estimator that relies on one-point residual-feedback which, compared to existing zeroth-order estimators that also rely on one-point feedback, significantly reduces the variance of the policy gradient estimates improving, in this way, the learning performance. We show that the proposed distributed zeroth-order policy optimization method with constant stepsize converges to the neighborhood of a policy that is a stationary point of the global objective function. The size of this neighborhood depends on the agents' learning rates, the exploration parameters, and the number of consensus steps used to calculate the local estimates of the global accumulated rewards. Moreover, we provide numerical experiments that demonstrate that our new zeroth-order policy gradient estimator is more sample-efficient compared to other existing one-point estimators.

研究の動機と目的

• エージェントがグローバル状態や行動を部分的にしか観測できない状況下で、協調的MARLの課題に対処し、通信負荷を低減する。
• 中央集権的クライアントや完全な状態／行動共有を必要としない分散型方策最適化手法を構築する。
• 部分観測下のマルチエージェント環境において、ゼロ次順序方策勾配推定器の分散を低減し、学習の安定性とサンプル効率を向上させる。
• コンセンサスを用いた価値追跡を導入し、正確なグローバル報酬推定に必要なコンセンサスステップ数を削減する。
• 部分観測下でも、定常ステップサイズのもとでアルゴリズムが定常点の近傍に収束することを保証する。

提案手法

• 1点残差フィードバックを用いた分散型ゼロ次順序勾配推定器を提案し、従来の1点推定器よりも分散が小さい勾配推定を実現する。
• エージェントが通信ネットワーク上のコンセンサスにより得たグローバル蓄積報酬の局所的推定値のみを用いて、局所的な方策勾配を計算可能にする。
• エージェントが局所的情報を用いてグローバル目的関数値の推定値を維持・更新できる価値追跡メカニズムを統合する。
• コンセンサスに基づくアルゴリズムを用いてグローバル報酬の局所的近似を計算し、ネットワーク全体の状態情報に依存するのを低減する。
• 方策更新ルールに定常ステップサイズを適用し、定常方策の近傍への収束を保証する。
• 関数値の差分（連続する方策摂動間の差）を用いて方策勾配推定器を定式化し、勾配計算を回避する。

実験結果

リサーチクエスチョン

• RQ1 エージェントがグローバルクライアントにアクセスできない部分状態・行動のみの観測下でも、分散型MARLアルゴリズムが収束可能か？
• RQ2 部分観測下の分散マルチエージェント環境において、ゼロ次順序方策勾配推定の分散をどのように低減できるか？
• RQ3 コンセンサスステップ数と通信グラフ構造が、方策勾配推定のバイアスと分散に与える影響は何か？
• RQ4 価値追跡は、必要なコンセンサスステップ数を削減することで、ゼロ次順序MARLのサンプル効率を向上させられるか？
• RQ5 部分観測下において、提案手法は中央集権的ベースラインと比較して性能とスケーラビリティで優れているか？

主な発見

• 提案された残差フィードバックゼロ次順序推定器は、従来の1点推定器と比較して勾配の分散を顕著に低減し、学習性能を向上させる。
• 定常ステップサイズのもとで、グローバル目的関数の定常点の近傍に収束するが、近傍の大きさは学習率、探索パラメータ、コンセンサスステップ数に依存する。
• 価値追跡により、1エピソードあたりの必要なコンセンサスステップ数が削減され、収束品質を損なわずに効率が向上する。
• 数値実験の結果、提案手法はベースラインの1点推定器に比べてサンプル効率が優れており、特に通信グラフが非対称な状況下で顕著に優位である。
• 分散アルゴリズムの性能は、コンセンサスステップ数を増やすことで、部分観測下の中央集権的アルゴリズムに近づく。
• コンセンサス行列 $\rho_W$ の2番目に大きな特異値が収束速度と勾配分散に相関しており、速やかにコンセンサスが得られるグラフは低い分散をもたらすことが示唆される。