[論文レビュー] An Introduction to Centralized Training for Decentralized Execution in Cooperative Multi-Agent Reinforcement Learning

Christopher Amato|arXiv (Cornell University)|Sep 4, 2024

Reinforcement Learning in Robotics被引用数 12

ひとこと要約

本論文は協調型多エージェント強化学習（CTDE）を調査し、価値関数分解法（VDN、QMIX、QPLEX）と集中批評家法（MADDPG、COMA、MAPPO）を詳述し、集中学習が分散実行を支援する方法を論じる。

ABSTRACT

Multi-agent reinforcement learning (MARL) has exploded in popularity in recent years. Many approaches have been developed but they can be divided into three main types: centralized training and execution (CTE), centralized training for decentralized execution (CTDE), and Decentralized training and execution (DTE). CTDE methods are the most common as they can use centralized information during training but execute in a decentralized manner -- using only information available to that agent during execution. CTDE is the only paradigm that requires a separate training phase where any available information (e.g., other agent policies, underlying states) can be used. As a result, they can be more scalable than CTE methods, do not require communication during execution, and can often perform well. CTDE fits most naturally with the cooperative case, but can be potentially applied in competitive or mixed settings depending on what information is assumed to be observed. This text is an introduction to CTDE in cooperative MARL. It is meant to explain the setting, basic concepts, and common methods. It does not cover all work in CTDE MARL as the subarea is quite extensive. I have included work that I believe is important for understanding the main concepts in the subarea and apologize to those that I have omitted.

研究の動機と目的

• Dec-POMDPフレームワークを用いて協調型MARL問題を説明する。
• 価値関数の分解と集中批評家を含むCTDE手法を調査・比較する。
• 学習時の集中情報の役割とそれが分散実行を可能にする方法について議論する。
• 分散批評家と集中批評家および情報共有の選択における実践的考慮事項を強調する。

提案手法

• 協調型MARL設定を定義するためにDec-POMDP形式を提示する。
• CTDEを説明し、手法を価値関数分解（VDN、QMIX、QPLEX）と集中批評家アプローチ（MADDPG、COMA、MAPPO）に分類する。
• 価値ベースの手法が結合Q関数を因数分解して実行時の分散Q値を得る方法を説明する。
• 学習時に集中批評家が分散アクターを指導する集中批評家-アクター・クリティック手法の詳細を説明する。
• 集中情報を分散学習者に組み込む拡張や、集中解を実行時に分散化する拡張などを議論する。

Figure 1: A depiction of cooperative MARL—a Dec-POMDP.

実験結果

リサーチクエスチョン

• RQ1 協調型多-agent RLの主要なCTDEアプローチは何か、訓練時と実行時の情報の使用の観点でどのように異なるか。
• RQ2 価値関数分解法（例：VDN、QMIX、QPLEX）は、集中批評家法（例：MADDPG、COMA、MAPPO）と概念的にも実践的にもどのように比較されるか。
• RQ3 CTDEにおいて分散批評家と集中批評家を選択する際の理論的・実践的考慮事項は何か。
• RQ4 集中情報を分散学習者に組み込む方法と、集中解を実行時に分散化する方法はどのようにすることができるか。
• RQ5 CTDE手法全体でのスケーラビリティ、協調、性能の主要なトレードオフは何か。

主な発見

• CTDEは訓練時に集中情報を活用しつつ、分散実行を維持することを可能にする。
• 価値関数分解法は結合Q関数をエージェントごとの成分に分解し、分散行動選択を可能にする。
• QMIXは単調ミキシングネットワークを用いて計算可能なargmax決定を保持する（IGM property）。
• 集中批評家手法（例：MADDPG、COMA、MAPPO）は、分散エージェントを導く集中型価値関数を訓練する。
• 本報告は状態ベース対歴史ベースの批評家と、部分観測性とスケーラビリティへの影響を論じる。
• 拡張として、集中情報を分散学習者に追加する方法や、集中解を分散化する取り組みを含む。

(a) DQN