[論文レビュー] Is Centralized Training with Decentralized Execution Framework Centralized Enough for MARL?

Yihe Zhou, Shunyu Liu+5 more|arXiv (Cornell University)|May 27, 2023

Reinforcement Learning in Robotics被引用数 11

ひとこと要約

CADPを導入することで、CTDEを拡張し、 centralized training 中に明示的なエージェント助言を可能とし、分散実行時には通信を徐々に剪定することで、MARLのバックボーン全体の性能を向上させる Centralized Advising and Decentralized Pruning( CADP ) フレームワークを紹介します。

ABSTRACT

Centralized Training with Decentralized Execution (CTDE) has recently emerged as a popular framework for cooperative Multi-Agent Reinforcement Learning (MARL), where agents can use additional global state information to guide training in a centralized way and make their own decisions only based on decentralized local policies. Despite the encouraging results achieved, CTDE makes an independence assumption on agent policies, which limits agents to adopt global cooperative information from each other during centralized training. Therefore, we argue that existing CTDE methods cannot fully utilize global information for training, leading to an inefficient joint-policy exploration and even suboptimal results. In this paper, we introduce a novel Centralized Advising and Decentralized Pruning (CADP) framework for multi-agent reinforcement learning, that not only enables an efficacious message exchange among agents during training but also guarantees the independent policies for execution. Firstly, CADP endows agents the explicit communication channel to seek and take advices from different agents for more centralized training. To further ensure the decentralized execution, we propose a smooth model pruning mechanism to progressively constraint the agent communication into a closed one without degradation in agent cooperation capability. Empirical evaluations on StarCraft II micromanagement and Google Research Football benchmarks demonstrate that the proposed framework achieves superior performance compared with the state-of-the-art counterparts. Our code will be made publicly available.

研究の動機と目的

• 協調的な MARL において伝統的な CTDE が完全に集中的でない理由を動機付ける。
• centralized training 中に相互エージェント助言を明示的に可能にする CADP を提案する。
• 剪定機構を介して実行時には方針を分散化した状態に保つ。
• CADP が複数の MARL バックボーンとベンチマークに対して互換性があることを実証する。

提案手法

• クロスアテンションを用いた明示的なエージェント助言機構を導入し、他のエージェントの認知とv(助言)を集約して各エージェントの集団意図 z を作る。
• 局所履歴エンコーダとしてGRUベース、局所情報と集団情報を組み合わせてQ値を出すMLPを組み込む。
• CADP(C) から CADP(D) へ一部ずつ切り替える自己剪定プロセスを実装し、クロスエージェント信頼度をワンホットに強制し、他者依存を最小化する剪定損失（KLダイバージェンス）を追加する。
• 価値分解のTD損失を採用し、QMIX, VDN, QPLEX, MAPPO などといったバックボーンをサポートし、方針モジュールレベルで CADP をフレームワーク非依存にする。
• 閾値 timestep 以降、分散化を促す剪定損失を含む総損失でエンドツーエンド訓練を行う。
• CADP の訓練と剪定プロセスを示す疑似コードとビジュアライゼーション（Appendices D and E）を提供する。

実験結果

リサーチクエスチョン

• RQ1 CADP は難易度の高い MARL タスク全体で伝統的な CTDE ベースラインを上回るか？
• RQ2 CADP は訓練時にグローバル情報を利用する教師-生徒 CTDE フレームワークを上回れるか？
• RQ3 CADP は複数の value-based および policy-based MARL バックボーンと互換性があるか？
• RQ4 剪定機構は、中央助言から完全な分散実行への滑らかな移行を可能にし、性能を犠牲にしないか？

主な発見

Method	5m_vs_6m	corridor	3s5z_vs_3s6z
VDN (CTDE)	0.54 ± 0.09	0.65 ± 0.32	0.25 ± 0.18
VDN (CADP)	0.66 ± 0.07	0.72 ± 0.51	0.85 ± 0.20
QMIX (CTDE)	0.43 ± 0.13	0.70 ± 0.35	0.24 ± 0.36
QMIX (CADP)	0.68 ± 0.08	0.84 ± 0.03	0.93 ± 0.03
QPLEX (CTDE)	0.57 ± 0.13	0.20 ± 0.12	0.08 ± 0.11
QPLEX (CADP)	0.73 ± 0.04	0.37 ± 0.36	0.96 ± 0.02
MAPPO (CTDE)	0.85 ± 0.07	0.96 ± 0.03	0.35 ± 0.39
MAPPO (CADP)	0.97 ± 0.03	0.98 ± 0.02	0.90 ± 0.16

• CADP は hard/mixed StarCraft II (SMAC) シナリオおよび Google Research Football ベンチマークで CTDE ベースラインを一貫して改善する。
• CADP(C)（集中モデル）と CADP(D）（分散モデル）は、3つの SMAC シナリオすべてで近似的または同等の性能を達成し、剪定が分散化の結果を向上させる。
• GRF ベンチマークでは CADP は QMIX を大きく上回り、教師-生徒ガイダンスが効果的でない領域で頑健性を示す。
• アブレーションにより CADP の利益が value-based 手法（VDN, QMIX, QPLEX）および MAPPO にまたがって伝搬することが示され、フレームワークの一般性を確認する。
• 視野範囲を変えたアブレーションでも CADP は優れた性能を維持し、分散モデルは中央集権的性能へ収束する。
• 剪定損失は timestep が T を超えたときに有効で、α の範囲に対して性能が頑健である。