[論文レビュー] Cooperative Exploration for Multi-Agent Deep Reinforcement Learning

Iou-Jen Liu, Unnat Jain+2 more|arXiv (Cornell University)|Jul 23, 2021

Reinforcement Learning in Robotics被引用数 32

ひとこと要約

CMAEはエージェント間で協調的で共有目標の探索を実現し、高次元状態を制限された空間へ射影し、探索を未探索領域へ誘導することで、 sparse-reward MARL タスクにおけるサンプル効率を改善します。

ABSTRACT

Exploration is critical for good results in deep reinforcement learning and has attracted much attention. However, existing multi-agent deep reinforcement learning algorithms still use mostly noise-based techniques. Very recently, exploration methods that consider cooperation among multiple agents have been developed. However, existing methods suffer from a common challenge: agents struggle to identify states that are worth exploring, and hardly coordinate exploration efforts toward those states. To address this shortcoming, in this paper, we propose cooperative multi-agent exploration (CMAE): agents share a common goal while exploring. The goal is selected from multiple projected state spaces via a normalized entropy-based technique. Then, agents are trained to reach this goal in a coordinated manner. We demonstrate that CMAE consistently outperforms baselines on various tasks, including a sparse-reward version of the multiple-particle environment (MPE) and the Starcraft multi-agent challenge (SMAC).

研究の動機と目的

• ノイズベースの手法を超える多エージェント深層強化学習の探索の改善を動機づける。
• エージェントが共通の目標を共有して探索する joint exploration framework を提案する。
• 低次元の制限空间を活用して、単純な状態表現から複雑な状態表現への協調探索を導く。
• CMAEの sparse-reward MPE と SMAC タスクにおけるベースラインより性能上の利点を示す。

提案手法

• 探索をターゲットポリシーから分離し、共有された未探索の目標へ到達する探索ポリシーを訓練する。
• 高次元の状態空間を制限された低次元空間 S_k に射影し、空間木 T_space を用いて徐々に高次元へ展開する。
• 正規化エントロピーに基づくユーティリティを用いて未探索領域を特定するため、制限空間から共有目標 g を選択する。
• 共有目標へ到達するボーナス報酬を含む修正報酬で探索ポリシーを訓練し、ターゲットポリシーは標準的な MARL 目的で更新する。
• 連続状態空間を扱うためのハッシュベースのカウントを使用し、制限空間のカウンタを効率的に更新する。
• 共有目標と制限空間探索の利点を示す簡単な多人数行列ゲームを通じて理論的直感を提供する。

実験結果

リサーチクエスチョン

• RQ1 協調的で目標指向の探索は、ノイズベースの探索と比較して多エージェント深層強化学習のデータ効率を改善できるか。
• RQ2 制限空間への射影と空間木ベースの展開は、エージェント数が増加しても探索をスケーラブルに可能にするか。
• RQ3 探索をターゲットポリシーから分離することは、CMAEの性能向上にとって本質的か。
• RQ4 CMAEは、ベースラインと比較して sparse-reward MARL ベンチマーク（MPE, SMAC）でどのように性能を示すか。

主な発見

手法	CMAE（私たち）	Q-learning	Q-learning + Bonus	EITI	EDTI
Pass-sparse	1.00 ± 0.00	0.00 ± 0.00	0.00 ± 0.00	0.00 ± 0.00	0.00 ± 0.00
Secret-Room-sparse	1.00 ± 0.00	0.00 ± 0.00	0.00 ± 0.00	0.00 ± 0.00	0.00 ± 0.00
Push-Box-sparse	1.00 ± 0.00	0.00 ± 0.00	0.00 ± 0.00	0.00 ± 0.00	0.00 ± 0.00
Pass-dense	5.00 ± 0.00	1.25 ± 0.02	1.42 ± 0.14	0.00 ± 0.00	0.18 ± 0.01
Secret-Room-dense	4.00 ± 0.57	1.62 ± 0.16	1.53 ± 0.04	0.00 ± 0.00	0.00 ± 0.00
Push-Box-dense	1.38 ± 0.21	1.58 ± 0.14	1.55 ± 0.04	0.10 ± 0.01	0.05 ± 0.03

• CMAEは sparse-reward MPE タスクでベースラインを上回り、Pass、Secret-Room、Push-Box を、予算内のステップで他が失敗する中で解決した。
• 密な報酬の MPE タスクでは、CMAE は最終的なパフォーマンスでベースラインと同等または上回る。
• SMAC の sparse-reward 設定（3m-sparse と 2m_vs_1z-sparse）で、CMAE はそれぞれ 47.7% と 44.3% の成功率を達成し、ベースラインより高い。
• アブレーションでは、ターゲットと探索ポリシーを分離し、探索を低次元空間に制限することが CMAE の有効性にとって重要であることが示される。
• 分析では、共有目標探索が協調なし探索と比較して多様な行動構成の発見を加速することを示している。