[論文レビュー] A Multi-Agent Off-Policy Actor-Critic Algorithm for Distributed Reinforcement Learning

Wesley A. Suttle, Zhuoran Yang+4 more|arXiv (Cornell University)|Mar 15, 2019

Reinforcement Learning in Robotics参考文献 29被引用数 7

ひとこと要約

本稿では、時間変動するネットワーク上で通信する分散型強化学習のための、新規のマルチエージェント非政策的アクタ・クリティック手法を提案する。クリティック更新には一貫性に基づく強調的時系列差分（ETD）法を用い、アクター更新には強調的重みを用いた新規なマルチエージェント非政策的ポリシー勾配定理を採用する。線形関数近似のもとでほとんど確実な収束を保証するため、非政策的経験を用いた効率的で分散型の学習が可能である。

ABSTRACT

This paper extends off-policy reinforcement learning to the multi-agent case in which a set of networked agents communicating with their neighbors according to a time-varying graph collaboratively evaluates and improves a target policy while following a distinct behavior policy. To this end, the paper develops a multi-agent version of emphatic temporal difference learning for off-policy policy evaluation, and proves convergence under linear function approximation. The paper then leverages this result, in conjunction with a novel multi-agent off-policy policy gradient theorem and recent work in both multi-agent on-policy and single-agent off-policy actor-critic methods, to develop and give convergence guarantees for a new multi-agent off-policy actor-critic algorithm.

研究の動機と目的

• 時間変動するグラフを介して通信する分散型でネットワーク化されたエージェントを有するマルチエージェント設定に、非政策的強化学習を拡張すること。
• 一貫性に基づくETD(λ)の変種を用いて、分散型マルチエージェントシステムにおける非政策的ポリシー評価を理論的に裏付けた手法を開発すること。
• 行動方策の乖離を補正するための強調的重みを用いた、新しいマルチエージェント非政策的ポリシー勾配定理を確立すること。
• 非政策的経験を用いて効率的かつ再利用可能な学習を可能にする、完全に分散型のアクタ・クリティックアルゴリズムを設計すること。
• 価値関数の線形関数近似のもとで、提案手法のほとんど確実な収束性を証明すること。

提案手法

• 非政策的クリティック更新を可能にするために、一貫性に基づく強調的時系列差分学習（ETD(λ)）のマルチエージェント版を用いて、価値関数推定を実施する。
• 非政策的サンプリングの補正を分散的に実現するための、新規なマルチエージェント非政策的ポリシー勾配定理を導入する。
• クリティックおよびアクター更新の両方で、非政策的補正のための重要度サンプリング比 ρ_t = π(a|s)/μ(a|s) を用いて遷移を再重み付けする。
• 二段階の更新構造を採用：まず隣接エージェント間でログ重要度比を一貫性的に集約し、その後にグローバルな ρ_t を計算する内側の一致ループ。
• 学習の安定化のため、強調的重み M^θ_t = 1 + λ^θ γ ρ_{t-1} F_{t-1} を用いた修正されたポリシー勾配を用いてアクター更新を実装する。
• 価値関数の線形関数近似を採用し、収束性を保証するためのステップサイズルールを、確率的近似の条件を満たすように設定する。

実験結果

リサーチクエスチョン

• RQ1 非政策的学習は、時間変動する通信ネットワークを有する分散型でネットワーク化されたエージェントの設定に、効果的に拡張可能か？
• RQ2 分散型マルチエージェント環境における非政策的ポリシー評価は、どのように安定化され、収束性を確保できるか？
• RQ3 分散型アクター更新を可能にするために、正しい形のマルチエージント非政策的ポリシー勾配定理は何か？
• RQ4 非政策的経験を用いた完全に分散型のアクタ・クリティックアルゴリズムは、価値関数の線形関数近似のもとで、ほとんど確実に収束するか？
• RQ5 強調的重みと一貫性に基づく重要度比集約は、分散型マルチエージェント強化学習におけるサンプル効率と収束性をどのように向上させるか？

主な発見

• 提案されたマルチエージェント非政策的アクタ・クリティックアルゴリズムは、価値関数の線形関数近似のもとで、最適方策にほとんど確実に収束する。
• 収束性は、非政策的データにおける分布シフトを補正するための強調的重みを用いた新規なマルチエージェント非政策的ポリシー勾配定理によって確立される。
• クリティックは、非政策的遷移が存在しても安定した価値関数学習を保証する一貫性に基づくETD(λ)の変種を用いる。
• 重要度比の内側の一致ループにより、グローバル同期を必要とせずに、各エージェントが一貫性のあるネットワーク全体のρ_t推定値を計算可能である。
• 実験結果は、線形関数近似設定における理論的収束保証を検証し、安定的で効率的な学習を示している。
• 本手法は、サンプル効率においてオンポリシーのベースラインを上回り、分散環境における非政策的経験の再利用を可能にしている。