[論文レビュー] Finite-Sample Analyses for Fully Decentralized Multi-Agent Reinforcement Learning.

Kaiqing Zhang, Zhuoran Yang+3 more|arXiv (Cornell University)|Dec 6, 2018

Game Theory and Applications被引用数 20

ひとこと要約

本稿は、完全に分散型のマルチエージェント強化学習（MARL）における最初の有限標本解析を提示する。時間変動するネットワークにおける協調的またはゼロサム競合的チームのエージェントに対して、バッチMARLアルゴリズムを提案する。行動価値関数推定における統計的誤差を定量的に評価し、分散型計算に起因する追加の誤差項を同定し、関数クラス、1反復あたりの標本サイズ、反復回数が精度に与える影響を確立する。

ABSTRACT

Despite the increasing interest in multi-agent reinforcement learning (MARL) in the community, understanding its theoretical foundation has long been recognized as a challenging problem. In this work, we make an attempt towards addressing this problem, by providing finite-sample analyses for fully decentralized MARL. Specifically, we consider two fully decentralized MARL settings, where teams of agents are connected by time-varying communication networks, and either collaborate or compete in a zero-sum game, without the absence of any central controller. These settings cover many conventional MARL settings in the literature. For both settings, we develop batch MARL algorithms that can be implemented in a fully decentralized fashion, and quantify the finite-sample errors of the estimated action-value functions. Our error analyses characterize how the function class, the number of samples within each iteration, and the number of iterations determine the statistical accuracy of the proposed algorithms. Our results, compared to the finite-sample bounds for single-agent RL, identify the involvement of additional error terms caused by decentralized computation, which is inherent in our decentralized MARL setting. To our knowledge, our work appears to be the first finite-sample analyses for MARL, which sheds light on understanding both the sample and computational efficiency of MARL algorithms.

研究の動機と目的

• 完全に分散型マルチエージェント強化学習（MARL）における理論的基盤の欠如に取り組むこと。
• 中央コントローラーのない分散型MARL設定における行動価値関数推定の統計的精度を分析すること。
• 関数クラス、1反復あたりの標本数、反復回数が分散型MARLにおける学習精度に与える影響を定量的に評価すること。
• 単一エージェントRLとは異なり、分散型計算に起因する誤差項を同定・特徴づけること。
• 時間変動する通信ネットワークを伴う協調的およびゼロサム競合的設定におけるMARLの有限標本バウンドを提供すること。

提案手法

• 中央コントローラーのない完全に分散型実装を想定したバッチMARLアルゴリズムを提案する。
• 時間変動する通信ネットワークを介して接続されたエージェントチームをモデル化し、協調的およびゼロサム競合的設定を両立させる。
• 関数近似を用いて行動価値関数を推定し、誤差解析を関数クラスの選択に基づくものとする。
• 近似誤差、推定誤差、および分散型計算に起因する成分に誤差を分解することで、有限標本誤差を分析する。
• 局所データと隣接エージェントとの通信を用いた反復的更新を採用し、分散型学習を可能にするとともに、時間経過に伴う誤差蓄積を追跡する。
• ネットワークのダイナミクスおよび分散型協調の影響を明示的に示す有限標本バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 分散型計算は、中央集権的または単一エージェント設定と比較して、マルチエージェント価値関数推定における統計的誤差にどのように影響するか？
• RQ2 協調的および競合的設定における完全に分散型MARLアルゴリズムの有限標本収束挙動はいかなるものか？
• RQ3 関数クラスのサイズ、1反復あたりの標本数、反復回数が、同時に学習された価値関数の精度にどのように影響するか？
• RQ4 通信制約および時間変動するネットワークに起因して、分散型MARLに新たに現れる誤差項は何か？
• RQ5 中央コントローラーのないMARLに対して有限標本バウンドを導出可能か？また、それらは単一エージェントRLのバウンドとどのように異なるか？

主な発見

• 本稿は、単一エージェント強化学習に存在しない、分散型計算に起因する追加の誤差項を同定した。
• 関数クラスの複雑さ、1反復あたりの標本数、反復回数に明示的に依存する有限標本誤差バウンドを導出した。
• 誤差バウンドは、通信および協調制約に起因して、分散型MARLが単一エージェントRLよりも高い統計的誤差を被ることを示している。
• 提案されたバッチMARLアルゴリズムは、時間変動する通信ネットワーク下で、協調的およびゼロサム競合的設定において、証明可能な統計的精度を達成している。
• 解析により、価値関数推定の収束速度がネットワークの接続性および通信グラフの混合性に影響を受けることが明らかになった。
• 本研究は、完全に分散型MARLにおける最初の有限標本解析を提供し、標本効率および計算効率を理解するための理論的基盤を確立した。