[論文レビュー] Deep Multi-Agent Reinforcement Learning for Decentralized Continuous Cooperative Control

Christian Schröder de Witt, Bei Peng+4 more|arXiv (Cornell University)|Mar 14, 2020

Reinforcement Learning in Robotics参考文献 28被引用数 41

ひとこと要約

この論文は、集中学習・分散実行（CTDE）を前提とした連続的ロボット制御のための新しいベンチマークスイート、MAMuJoCoを紹介する。価値因子分解が連続的協調的タスクにおいてアルゴリズム設計の選択よりも顕著に優れていることを示し、Qラーニングからアクタクリティックフレームワークへの価値因子分解技術の拡張を促進する。新たに提案されたMADDPGの変種は、いくつかのタスクで元の手法を上回る性能を発揮する。

ABSTRACT

Centralised training with decentralised execution (CTDE) is an important learning paradigm in multi-agent reinforcement learning (MARL). To make progress in CTDE, we introduce Multi-Agent MuJoCo (MAMuJoCo), a novel benchmark suite that, unlike StarCraft Multi-Agent Challenge (SMAC), the predominant benchmark environment, applies to continuous robotic control tasks. To demonstrate the utility of MAMuJoCo, we present a range of benchmark results on this new suite, including comparing the state-of-the-art actor-critic method MADDPG against two novel variants of existing methods. These new methods outperform MADDPG on a number of MAMuJoCo tasks. In addition, we show that, in these continuous cooperative MAMuJoCo tasks, value factorisation plays a greater role in performance than the underlying algorithmic choices. This motivates the necessity of extending the study of value factorisations from $Q$-learning to actor-critic algorithms.

研究の動機と目的

• マルチエージェント強化学習における連続的制御のためのベンチマークの不足に取り組むこと、特に集中学習・分散実行（CTDE）の文脈において。
• SMACのような既存の離散的アクションベンチマークとは対照的に、連続的ロボット制御タスクに特化した新しいベンチマークスイート、MAMuJoCoを開発すること。
• 連続的協調的マルチエージェント強化学習（MARL）設定における価値因子分解とアルゴリズム的選択の影響を評価すること。
• MAMuJoCoベンチマーク上で、MADDPGを上回る性能を発揮する新たなアクタクリティック変種を提案・検証すること。

提案手法

• MuJoCo環境に基づく新しいベンチマークスイート、MAMuJoCoを提案し、連続的アクション空間におけるマルチエージェント制御タスクに特化している。
• 集中学習・分散実行（CTDE）を採用し、トレーニング中は共同ポリシー学習が可能だが、推論時には個々のエージェントが独立して実行される。
• アクタクリティックフレームワークに価値因子分解技術を適用し、集中価値関数を個々のエージェントの成分に分解する。
• コントロールネットワークのアーキテクチャに価値因子分解を統合することで、MADDPGの2つの新しい変種を設計する。
• 集中価値関数を用いてポリシーを共同で学習するが、推論時にはローカル観測値と個々のポリシーのみを用いる。
• 複数の連続的制御タスクにおいて性能を評価し、ベースラインのMADDPGと提案された変種を比較する。

実験結果

リサーチクエスチョン

• RQ1 価値因子分解は、連続的協調的マルチエージェント強化学習タスクにおける性能にどのように影響を与えるか？
• RQ2 連続的MARLにおいて、アルゴリズム的革新と比較して価値因子分解はどの程度重要か？
• RQ3 CTDE設定において、Qラーニングからアクタクリティックフレームワークへの価値因子分解の拡張は効果的に行えるか？
• RQ4 新しいアクタクリティック変種は、連続的制御ベンチマーク上でMADDPGと比較してどの程度優れているか？
• RQ5 MAMuJoCoタスクにおける全体的なパフォーマンスに、価値関数分解の選択が果たす役割は何か？

主な発見

• 連続的協調的MAMuJoCoタスクにおいて、価値因子分解の影響は、下位のアルゴリズム的設計の選択よりも顕著に大きい。
• 提案されたアクタクリティック変種は、MAMuJoCoの複数のタスクでベースラインのMADDPGを上回る性能を発揮する。
• 連続的制御設定において、価値因子分解は標準的なMADDPGと比較して、サンプル効率と最終的なパフォーマンスの両方を一貫して向上させる。
• 価値因子分解の有効性は、今後の連続的MARL研究において優先的に検討すべきであることを示唆する。
• 結果から、これらのタスクにおいて、価値関数分解の選択が、ポリシーネットワークアーキテクチャや学習アルゴリズムの選択よりもより重要であることが示唆される。
• MAMuJoCoは、連続的協調的MARL手法を評価するための妥当で効果的なベンチマークとして機能する。