[論文レビュー] More Centralized Training, Still Decentralized Execution: Multi-Agent Conditional Policy Factorization

Jiangxing Wang, Deheng Ye+1 more|arXiv (Cornell University)|Sep 26, 2022

Reinforcement Learning in Robotics被引用数 4

ひとこと要約

本稿では、マルチエージェント条件付きポリシー因子分解（MACPF）を提案する。この手法は、集中学習時にエージェント間の依存関係をモデル化しつつ、因子化されたポリシー構造により分散実行を可能にする。MACPFは、条件付きに因子化された独立ポリシーと補正項を用いて依存する局所ポリシーを学習することで、SMAC や MPE などの協調的マルチエージェント強化学習（MARL）環境において、より高速な収束とベースラインを上回る優れた結果を達成し、最適な連携ポリシー性能を実現する。

ABSTRACT

In cooperative multi-agent reinforcement learning (MARL), combining value decomposition with actor-critic enables agents to learn stochastic policies, which are more suitable for the partially observable environment. Given the goal of learning local policies that enable decentralized execution, agents are commonly assumed to be independent of each other, even in centralized training. However, such an assumption may prohibit agents from learning the optimal joint policy. To address this problem, we explicitly take the dependency among agents into centralized training. Although this leads to the optimal joint policy, it may not be factorized for decentralized execution. Nevertheless, we theoretically show that from such a joint policy, we can always derive another joint policy that achieves the same optimality but can be factorized for decentralized execution. To this end, we propose multi-agent conditional policy factorization (MACPF), which takes more centralized training but still enables decentralized execution. We empirically verify MACPF in various cooperative MARL tasks and demonstrate that MACPF achieves better performance or faster convergence than baselines. Our code is available at https://github.com/PKU-RL/FOP-DMAC-MACPF.

研究の動機と目的

• 集中学習時にエージェントの独立性を仮定する既存の MARL 手法の制限を解決すること。これにより、連携ポリシーの表現力が制限され、グローバル最適解への収束が妨げられる。
• ポリシー学習中にエージェント間の依存関係を明示的にモデル化することで、より集中的学習を可能にし、連携ポリシーの品質を向上させること。
• 依存する連携ポリシーの性能を維持しつつ、分散実行を保証するため、独立ポリシーの類似物を導出すること。
• 複雑な協調的環境において、学習中にエージェント間の依存関係を導入することで、性能向上と収束速度の向上が達成されることを実証的に検証すること。

提案手法

• 集中学習中に、チェーンルールに基づく依存関係構造を用いて最適な連携ポリシーを因子化する、マルチエージェント条件付きポリシー因子分解（MACPF）を提案する。
• 連携ポリシーを独立した局所ポリシーと依存ポリシー補正項に条件付き因子化することで、分散実行を可能にする。
• FOPとは異なるミキサーネットワークを用いたソフトポリシー反復法を採用し、確率のチェーンルールに基づいて連携 Q 値を因子化する。
• 理論的に、最適な性能を達成する任意の依存連携ポリシーに対して、同じ期待報酬を維持する同等の独立連携ポリシーが存在することを証明する。
• 二重ストリームアーキテクチャを採用：一方は集中学習用の依存ポリシー学習用、もう一方は分散実行用の独立ポリシー学習用。
• アクター・クリティックを用いた価値分解フレームワークに適用し、部分観測環境における確率的ポリシー学習を保証するため、最大エントロピー目的関数を活用する。

実験結果

リサーチクエスチョン

• RQ1 集中学習時にエージェント間の依存関係をモデル化することで、協調的マルチエージェント強化学習における連携ポリシー最適化が向上するか？
• RQ2 集中的で依存する連携ポリシーと同等の最適性能を達成できる分散型ポリシーは実現可能か？
• RQ3 学習段階でエージェント間に依存関係を導入することで、複雑な協調的環境における収束速度と最終的性能が向上するか？
• RQ4 条件付き因子化によって導出された独立ポリシーが、依存する連携ポリシーの性能を再現できるか？
• RQ5 FOP、QMIX、QPLEX、MAPPO といった最先端ベースラインと比較して、MACPF は勝率および学習安定性において優れているか？

主な発見

• MACPF は 18 マップ中の 16 マップで FOP、QMIX、QPLEX、MAPPO を上回り、18 マップ中 16 マップで最高ベースラインと同等以上または上回る勝率を達成した。
• 「corridor」マップという挑戦的環境では、MACPF は約 70% の勝率を達成したが、他の価値分解アルゴリズムは意味のあるポリシーを学習できなかった。
• MPE ベンチマークでは、MACPF はシンプルスプレッドで平均報酬 -118.24 ± 2.74 を達成し、QMIX（-145.93 ± 21.09）と FOP（-125.19 ± 5.42）を大きく上回った。
• アブレーションスタディにより、MACPF の性能向上は依存関係のモデル化に起因することが確認された。MACPF_CONTROL（依存ポリシーなし）は、4 マップすべてで MACPF よりも性能が劣った。
• 図 10 に示すように、MACPF の独立局所ポリシーは、訓練全体を通して依存連携ポリシーと同等の性能を示しており、理論的同等性が検証された。
• ハードおよびスーパー・ハードな SMAC マップにおいて、MACPF はベースラインより高速に収束し、視界範囲が狭く味方情報が欠落する「myopic」バージョンでは、より大きな性能差を示した。