[論文レビュー] A Review of Cooperative Multi-Agent Deep Reinforcement Learning

Afshin Oroojlooyjadid, Davood Hajinezhad|arXiv (Cornell University)|Aug 11, 2019

Reinforcement Learning in Robotics被引用数 72

ひとこと要約

この調査は協調的な多エージェント深層強化学習（MARL）アプローチ、分類法、課題、そして新興の方向性をレビューし、方法と応用の間の関連性を示す。

ABSTRACT

Deep Reinforcement Learning has made significant progress in multi-agent systems in recent years. In this review article, we have focused on presenting recent approaches on Multi-Agent Reinforcement Learning (MARL) algorithms. In particular, we have focused on five common approaches on modeling and solving cooperative multi-agent reinforcement learning problems: (I) independent learners, (II) fully observable critic, (III) value function factorization, (IV) consensus, and (IV) learn to communicate. First, we elaborate on each of these methods, possible challenges, and how these challenges were mitigated in the relevant papers. If applicable, we further make a connection among different papers in each category. Next, we cover some new emerging research areas in MARL along with the relevant recent papers. Due to the recent success of MARL in real-world applications, we assign a section to provide a review of these applications and corresponding articles. Also, a list of available environments for MARL research is provided in this survey. Finally, the paper is concluded with proposals on the possible research directions.

研究の動機と目的

• 複雑なマルチエージェントシステムにおける協調的なMARLの重要性を強調し、研究の動機づけを行う。
• 協調的MARL手法の統一的な分類法を提供し、代表的な研究を要約する。
• MARLにおける課題（例：非定常性、通信オーバーヘッド）と、これらを前例研究がどのように緩和してきたかを議論する。
• 新たに現れてきた研究方向、実世界の応用、および利用可能なMARL環境を調査する。
• 深層学習の文脈における協調MARLの今後の研究方向への指針を提供する。

提案手法

• 協調的MARLの五カテゴリ分類を提案する：独立学習者、完全可観測クリティック、価値関数の因数分解、コンセンサス、学習して通信する。
• 各カテゴリを、主要なアイデア、課題、緩和戦略とともに説明し、カテゴリ間の関連論文を結びつける。
• 単一エージェント強化学習の基礎をレビューし、マルチエージェントの定式化と表記を位置づける。
• マルチエージェントの定式化を提示し、非定常性や他のMARL特有の課題を議論する。
• 実世界の応用とMARL環境を要約し、実務使用の実例を示す。

実験結果

リサーチクエスチョン

• RQ1 主な協調的MARLアプローチは何で、概念的・技術的にどのように異なるのか。
• RQ2 MARLにおいて非定常性や通信オーバーヘッドといった課題はどのように生じ、カテゴリ横断でどのような緩和戦略が存在するか。
• RQ3 協調的MARLの新たな研究方向と実世界の応用は何か。
• RQ4 協調MARL法の評価に利用できるMARL環境とベンチマークはどれですか。

主な発見

• 本論文は協調的MARLを五つのカテゴリへ統一的な分類法として提示し、それぞれの代表的な研究を概説する。
• 非定常性や通信ボトルネックなど、MARLの核心的課題を議論し、各カテゴリ内の緩和戦略を調査する。
• カテゴリ内およびカテゴリ間の論文間の関連を描き、アイデアがアプローチ間でどのように移転するかを強調する。
• 新たな研究方向、実世界の応用、および利用可能なMARL環境を網羅し、今後の研究を指針づける。