[論文レビュー] Comparative Evaluation of Cooperative Multi-Agent Deep Reinforcement Learning Algorithms

Georgios Papoudakis, Filippos Christianos+2 more|arXiv (Cornell University)|Jun 14, 2020

Reinforcement Learning in Robotics参考文献 31被引用数 7

ひとこと要約

この論文は、完全に協力的なタスクの多様な設定において、独立学習、集中型マルチエージェント方策勾配、価値分解の3つのクラスの協調的マルチエージェント深層強化学習アルゴリズムを評価する。実験的ベンチマークと各手法の優れた点に関する洞察を提供し、特に非定常性の問題があるにもかかわらず驚くべき効果を示す独立学習と、特定の設定で明確な利点を示す価値分解の有効性を明らかにする。

ABSTRACT

Multi-agent deep reinforcement learning (MARL) suffers from a lack of commonly-used evaluation tasks and criteria, making comparisons between approaches difficult. In this work, we evaluate and compare three different classes of MARL algorithms (independent learning, centralised multi-agent policy gradient, and value decomposition) in a diverse range of fully-cooperative multi-agent learning tasks. Our experiments can serve as a reference for the expected performance of algorithms across different learning tasks. We also provide further insight about (1) when independent learning might be surprisingly effective despite non-stationarity, (2) when centralised training should (and shouldn't) be applied and (3) which benefits value decomposition can bring.

研究の動機と目的

• マルチエージェント深層強化学習（MARL）における標準化された評価タスクと基準の欠如が、アルゴリズム間の公平な比較を妨げているという問題に対処すること。
• 独立学習、集中型マルチエージェント方策勾配、および価値分解の3つの主要なMARLアルゴリズムクラスを、多様な完全に協力的なタスク上で評価・比較すること。
• さまざまな学習環境におけるMARLアルゴリズムの基準性能を提供すること。
• 非定常性の問題があるにもかかわらず、独立学習がなぜ驚くほどうまく機能するのかという条件を調査すること。
• 集中型トレーニングがいつ有益で、いつ避けるべきかを明確にし、価値分解の実用的利点を評価すること。

提案手法

• 本研究は、一貫した実験条件のもとでアルゴリズムの性能を評価できる、完全に協力的なマルチエージェント環境のスイートを採用する。
• 独立学習は、個々のエージェントが共有の方策パラメータを持たない独立した深層Qネットワーク（DQN）または方策勾配法を用いて実装される。
• 集中型マルチエージェント方策勾配法では、トレーニング中に全状態情報にアクセス可能な共有のグローバル方策ネットワークを用いるが、推論は分散型のまま維持される。
• 価値分解法は、連合行動価値関数を個々の価値関数に分解することで、協力的状況における責任割り当てと学習安定性を実現する。
• 部分的観測性、責任割り当ての複雑さ、状態空間構造の違いを有する複数のタスクで実験が実施される。
• 性能は、繰り返し実行された際の累積報酬、学習安定性、および最終的なタスク達成率によって測定される。

実験結果

リサーチクエスチョン

• RQ1 非定常性の問題があるにもかかわらず、どのような種類の協力的マルチエージェントタスクで独立学習が驚くほどうまく機能するのか？
• RQ2 集中型トレーニングはいつ有益であり、どのような状況で独立学習を上回る性能を発揮しないのか？
• RQ3 価値分解が協力的MARLにおいてどのような具体的な利点を提供するのか、そしてその利点が最も顕著に現れる条件は何か？
• RQ4 多様なタスクにおいて、3つのアルゴリズムクラスは、サンプル効率、収束速度、および最終的性能の観点からどのように比較できるか？

主な発見

• 独立学習は報酬がスパarsなタスクや状態観測が限定的なタスクでも強力な性能を発揮し、非定常性の問題による制限という仮定に反する。
• 集中型トレーニングは報酬の責任割り当てが密度で、状態空間が複雑なタスクで性能を著しく向上させるが、単純またはスパarsな環境ではほとんど利点がない。
• 連合行動の協調と複雑な責任割り当てを要するタスクでは、価値分解が独立学習および集中型方策勾配法を常に上回る。
• 部分的観測性と高次元の行動空間を有する環境では、価値分解の利点が最も顕著に現れ、安定的かつサンプル効率の良い学習を可能にする。
• 理論的利点があるにもかかわらず、集中型トレーニングは万能ではなく、低複雑度の設定では単純な独立学習手法に劣ることもある。
• 本研究は、将来的なMARLアルゴリズムの評価に使用可能なベンチマークタスクと性能ベースラインのセットを確立した。