[論文レビュー] Multi-Agent Reinforcement Learning: A Selective Overview of Theories and Algorithms

Kaiqing Zhang, Zhuoran Yang+1 more|arXiv (Cornell University)|Nov 24, 2019

Innovation Diffusion and Forecasting被引用数 124

ひとこと要約

マルチエージェント強化学習（MARL）の理論的総説。二つの枠組み（Markov/stochastic games および extensive-form games）に焦点を当て、収束性・計算量の分析と将来の研究への新しい視点を提供する。

ABSTRACT

Recent years have witnessed significant advances in reinforcement learning (RL), which has registered great success in solving various sequential decision-making problems in machine learning. Most of the successful RL applications, e.g., the games of Go and Poker, robotics, and autonomous driving, involve the participation of more than one single agent, which naturally fall into the realm of multi-agent RL (MARL), a domain with a relatively long history, and has recently re-emerged due to advances in single-agent RL techniques. Though empirically successful, theoretical foundations for MARL are relatively lacking in the literature. In this chapter, we provide a selective overview of MARL, with focus on algorithms backed by theoretical analysis. More specifically, we review the theoretical results of MARL algorithms mainly within two representative frameworks, Markov/stochastic games and extensive-form games, in accordance with the types of tasks they address, i.e., fully cooperative, fully competitive, and a mix of the two. We also introduce several significant but challenging applications of these algorithms. Orthogonal to the existing reviews on MARL, we highlight several new angles and taxonomies of MARL theory, including learning in extensive-form games, decentralized MARL with networked agents, MARL in the mean-field regime, (non-)convergence of policy-based methods for learning in games, etc. Some of the new angles extrapolate from our own research endeavors and interests. Our overall goal with this chapter is, beyond providing an assessment of the current state of the field on the mark, to identify fruitful future research directions on theoretical studies of MARL. We expect this chapter to serve as continuing stimulus for researchers interested in working on this exciting while challenging topic.

研究の動機と目的

• 代表的な枠組み（Markov/stochastic games と extensive-form games）にわたる MARL の理論的基盤を明確化する。
• 完全協調、完全競合、および混合設定の下で収束性と計算量分析を含む MARL アルゴリズムを体系化する。
• 将来の研究と応用を導く MARL 理論における新しい視点と分類法を強調する。

提案手法

• Markov/stochastic および extensive-form ゲーム枠組みの中で、理論的保証を伴う MARL アルゴリズムをレビュー・統合する。
• 非定常性、結合アクション空間、情報構造といった課題を論じ、それらを均衡概念と関連づける。
• 協調型、競合型、混合型といった設定を導入・比較し、それらが学習ダイナミクスと収束性に与える影響を論じる。
• 分散型 MARL、平均場 MARL、及び extensive-form ゲームにおける学習といった拡張を強調する。

実験結果

リサーチクエスチョン

• RQ1 Markov/stochastic および extensive-form ゲーム枠組みの下で、どの MARL アルゴリズムが理論的な収束性と計算量の保証を持つか？
• RQ2 協調・競合・混合設定が MARL における学習ダイナミクスと均衡概念にいかなる影響を与えるか？
• RQ3 将来の理論研究を導く MARL 理論における新たな視点と分類法は何か？

主な発見

• 本章は、枠組みと収束分析に重点を置いた MARL 理論とアルゴリズムの選択的な概要を提供する。
• 非定常性、組合的な結合アクション空間、情報構造など、MARL に共通する課題を論じ、それらを均衡概念と結びつける。
• extensive-form games、分散型 MARL、平均場 MARL、及びゼロ和ゲームにおける方策ベース法の収束性（非収束を含む）に関する議論を拡張する。
• Nash 配分と ε-Nash 配分を、Markov および extensive-form game MARL 設定における中心的な解概念として位置づける。
• 協調、競合、混合設定を区別し、それらが MGs および extensive-form games へどのように対応するかを示し、アルゴリズム設計を導く。