[論文レビュー] A Survey of Progress on Cooperative Multi-agent Reinforcement Learning in Open Environment

Lei Yuan, Ziqian Zhang+3 more|arXiv (Cornell University)|Dec 2, 2023

Reinforcement Learning in Robotics被引用数 9

ひとこと要約

この論文は、協調的マルチエージェント強化学習(MARL)の最近の進展を概観し、オープン環境設定、主要な手法、テスト環境、今後の研究方向に重点を置く。

ABSTRACT

Multi-agent Reinforcement Learning (MARL) has gained wide attention in recent years and has made progress in various fields. Specifically, cooperative MARL focuses on training a team of agents to cooperatively achieve tasks that are difficult for a single agent to handle. It has shown great potential in applications such as path planning, autonomous driving, active voltage control, and dynamic algorithm configuration. One of the research focuses in the field of cooperative MARL is how to improve the coordination efficiency of the system, while research work has mainly been conducted in simple, static, and closed environment settings. To promote the application of artificial intelligence in real-world, some research has begun to explore multi-agent coordination in open environments. These works have made progress in exploring and researching the environments where important factors might change. However, the mainstream work still lacks a comprehensive review of the research direction. In this paper, starting from the concept of reinforcement learning, we subsequently introduce multi-agent systems (MAS), cooperative MARL, typical methods, and test environments. Then, we summarize the research work of cooperative MARL from closed to open environments, extract multiple research directions, and introduce typical works. Finally, we summarize the strengths and weaknesses of the current research, and look forward to the future development direction and research problems in cooperative MARL in open environments.

研究の動機と目的

• 協力MARLに関連する強化学習とマルチエージェントシステムの基礎概念を紹介する。
• 古典的な閉環境での協調MARL手法とその性能をレビューする。
• オープン環境での協調MARLに関する新興研究を要約し、研究方向と課題を特定する。

提案手法

• 中核MARL手法（方策勾配、値ベース、 actor-critic）とその拡張をレビューし分類する。
• オープン環境の課題には、非定常性、クレジット割り当て、 MASにおけるスケーリングを含む。
• 協調MARLに用いられるテストベッド、環境、アプリケーション領域を要約する。
• オープン環境での将来の方向性と潜在的な研究課題を概説する。

Figure 1: Framework of the survey

実験結果

リサーチクエスチョン

• RQ1 協調MARLの主流手法は何で、どのように協調とクレジット割り当てに対処するのか。
• RQ2 オープン環境の要因はMARLにどのような影響を与え、これらの課題に対処する既存の取り組みは何か。
• RQ3 オープン環境で協調MARLの標準的なテスト環境と適用分野は何か。
• RQ4 実世界のオープン環境で協調MARLを実用的にするためのギャップと今後の方向性は何か。

主な発見

• 調査は、共通のMARLアプローチ（例：MADDPG、MAPPO、VDN、QMIX）と協調設定での役割を特定する。
• オープン環境MARLの研究は依然として限られており、ロバスト性、継続学習、一般化、シム→リアル転送を模索し続けている。
• 協調を高めるための通信、オフラインポリシー展開、世界モデル、トレーニングパラダイムに注目が集まっている。
• 本論文は、Ad-Hoc Teamwork、Zero-Shot Coordination、Few-Shot Teamworkといったオープン環境の概念を関心のある設定として論じている。
• MARLの発展を支える基盤として、RL、MAS、ゲーム理論、確率的ゲームの標準的背景を概説している。

Figure 2: Illustration of reinforcement learning.