[論文レビュー] Multi-agent Reinforcement Learning: A Comprehensive Survey

Dom Huh, Prasant Mohapatra|arXiv (Cornell University)|Dec 15, 2023

Reinforcement Learning in Robotics被引用数 8

ひとこと要約

マルチエージェント強化学習（MARL）の包括的な調査で、MASの基礎、ゲーム理論の概念、ディープラーニングの統合、学習ダイナミクス、そしてオープンな課題を扱う。

ABSTRACT

Multi-agent systems (MAS) are widely prevalent and crucially important in numerous real-world applications, where multiple agents must make decisions to achieve their objectives in a shared environment. Despite their ubiquity, the development of intelligent decision-making agents in MAS poses several open challenges to their effective implementation. This survey examines these challenges, placing an emphasis on studying seminal concepts from game theory (GT) and machine learning (ML) and connecting them to recent advancements in multi-agent reinforcement learning (MARL), i.e. the research of data-driven decision-making within MAS. Therefore, the objective of this survey is to provide a comprehensive perspective along the various dimensions of MARL, shedding light on the unique opportunities that are presented in MARL applications while highlighting the inherent challenges that accompany this potential. Therefore, we hope that our work will not only contribute to the field by analyzing the current landscape of MARL but also motivate future directions with insights for deeper integration of concepts from related domains of GT and ML. With this in mind, this work delves into a detailed exploration of recent and past efforts of MARL and its related fields and describes prior solutions that were proposed and their limitations, as well as their applications.

研究の動機と目的

• マルチエージェントシステム（MAS）とMARLを定義し、共有環境における学習制御を動機づける。
• ゲーム理論と機械学習の視点をMARLに統合して統一的な見解を提示する。
• MASにおけるエージェントの基礎モデル（例：確率的ゲーム、POSG）と学習目標を調査する。
• MARLに適用される深層学習と強化学習の基礎を、値ベース、方策ベース、モデルベースのアプローチを含めて説明する。
• 将来のMARL研究の課題、パラダイム、方向性を強調する。

提案手法

• MARLを確率過程ゲーム（stochastic games）およびPOSGの枠組みで定式化し、不完全情報と共同方策を捉える。
• ナッシュ均衡、CE/CCE、パレート効率性といったゲーム理論的解概念と、それらがMARLに与える影響を調査する。
• 学習ダイナミクス（最適反応、ノーリグレット）と、それらがMARLの収束に与える関連性を説明する。
• ディープラーニングのMARLへの統合をレビューし、価値関数近似、方策勾配、アクタークリティック、モデルベース手法を含めて検討する。
• 強化学習の基礎（Q学習、方策勾配、アクタークリティック、モデルベース計画）と、それらをMASへ適用する際の適応を紹介する。
• シミュレーション、通信、アドホックなチームプレイ、知識伝達、エージェントモデリングといったMARL固有の側面を概説する。

Figure 1 : A visualization of a multi-agent control system, inspired by [ Albrecht et al. , 2024 ] .

実験結果

リサーチクエスチョン

• RQ1 マルチエージェント環境における学習制御の基本的な問題定式化は何か。
• RQ2 ゲーム理論と深層学習はMARL問題の理解と解法にどのように寄与するか。
• RQ3 MARLに適用可能な主な学習パラダイムとアルゴリズム（値ベース、方策ベース、アクタークリティック、モデルベース）は何か。
• RQ4 MARLで生じる課題（非定常性、部分観測、通信、チーム形成、知識伝達）とそれらに対する対処はどのようか。
• RQ5 MARL研究の未解決の問いと将来の方向性は何か。

主な発見

• MARLは不確実性と部分観測の下での多エージェント相互作用をモデル化するため、確率的ゲームとPOSGの枠組みで定義される。
• 均衡概念（NE、CE/CCE、パレート効率性）とそれらの学習ダイナミクスは、MARLの安定性と収束性の理論的観点を提供する。
• ディープラーニングはスケーラブルなエンドツーエンドのMARLソリューションを可能にするが、大量のデータと計算資源を必要とする。
• RLの基礎（値ベース、方策ベース、アクタークリティック、モデルベース）は、経験リプレイ、ターゲットネットワーク、探索、オフライン学習といった特殊な技術と共にMARLへ適用される。
• モデルベースMARLは学習した遷移ダイナミクスと不確実性推定を用いた計画を導入し、モデルフリー手法を補完する。
• 調査はMARL固有の課題（通信、アドホックな協働、知識伝達、エージェントモデリング）を特定し、今後の研究方向を概説する。

Figure 2 : Models of Games: The overview of different models of multi-agent interactions is illustrated, from Markov Decision Processes (MDP) to variations of stochastic games. The following figure was adapted and updated from [ Albrecht et al. , 2024 ] .