[論文レビュー] Off-Policy Multi-Agent Decomposed Policy Gradients

Yihan Wang, Beining Han+3 more|arXiv (Cornell University)|Jul 24, 2020

Reinforcement Learning in Robotics参考文献 59被引用数 42

ひとこと要約

DOPは、 decomposed, off-policy MAPG フレームワークを導入し、線形に因子化されたクリティックを用いてオフポリシー学習を効率化し、中央集権-分散ミスマッチを軽減し、離散・連続アクション空間のクレジット割り当てを改善する。StarCraft IIおよびマルチエージェント環境で実証的に有望な成果を示す。

ABSTRACT

Multi-agent policy gradient (MAPG) methods recently witness vigorous progress. However, there is a significant performance discrepancy between MAPG methods and state-of-the-art multi-agent value-based approaches. In this paper, we investigate causes that hinder the performance of MAPG algorithms and present a multi-agent decomposed policy gradient method (DOP). This method introduces the idea of value function decomposition into the multi-agent actor-critic framework. Based on this idea, DOP supports efficient off-policy learning and addresses the issue of centralized-decentralized mismatch and credit assignment in both discrete and continuous action spaces. We formally show that DOP critics have sufficient representational capability to guarantee convergence. In addition, empirical evaluations on the StarCraft II micromanagement benchmark and multi-agent particle environments demonstrate that DOP significantly outperforms both state-of-the-art value-based and policy-based multi-agent reinforcement learning algorithms. Demonstrative videos are available at https://sites.google.com/view/dop-mapg/.

研究の動機と目的

• 現状の最先端のマルチエージェントポリシー勾配法が値ベース法に比べて劣る理由を診断する。
• Off-policy MAPGを可能にする分解クリティックアーキテクチャを提案し、CDMとクレジット割り当てを解決する。
• 分解クリティックの収束特性を理論的に確立する。
• 離散（StarCraft II SMAC）と連続（マルチエージェント粒子環境）ベンチマークで実証効果を示す。

提案手法

• 中央集権的だが因子分解されたクリティックを提案する：Q_tot^φ(τ, a) = sum_i k_i(τ) Q_i^φ_i(τ, a_i) + b(τ)。
• πを用いたオフポリシー評価を実現するため、E_π[Q_tot^φ(τ, ·)]をエージェントごとの期待の和に縮小して計算を容易にする。
• 分解木バックアップとオンポリシーTD(λ)更新を組み合わせ、サンプル効率とトレーニング効率のバランスをとる。
• 離散・連続アクション空間に対応する確率的DOPと決定論的DOPのバリアントを提供し、それぞれのポリシー勾配形を示す。
• 分解クリティックは穏やかな仮定の下でポリシー改善を保持することを証明し、バイアス-分散のトレードオフを示す。
• 実装の詳細とネットワークアーキテクチャを付録に記載する。

実験結果

リサーチクエスチョン

• RQ1 CDMが実践で発生するか、分解クリティックはそれを緩和できるか。
• RQ2 分解クリティックを用いてオフポリシー確率的MAPG手法を実現可能で安定させることができるか。
• RQ3 分解クリティックは決定論的ポリシーに対する効果的なマルチエージェントクレジット割り当てを提供できるか。
• RQ4 DOP手法は標準的なベースMAPGおよび値ベースMARL法より優れているか、標準ベンチマークで上回るか。

主な発見

• 確率的DOPは離散アクション StarCraft II のミクロマネジメントタスクでベースラインを大幅に上回る。
• DOPはグラデーション分散を低減し、分解クリティック構造を通じてCDMを緩和する。
• オフポリシーの分解木バックアップ（TB）はマルチエージェントのオフポリシー評価を実現可能にする。
• 決定論的DOPは連続アクションタスクでクレジット割り当てを学習し、以前のMAPG法を上回る。
• DOPは難易度の高いベンチマークで複数のランダムシードで安定性と高性能を示す。