[論文レビュー] Finite-Sample Analysis For Decentralized Batch Multi-Agent Reinforcement Learning With Networked Agents

Kaiqing Zhang, Zhuoran Yang+3 more|arXiv (Cornell University)|Dec 6, 2018

Distributed Control Multi-Agent Systems参考文献 69被引用数 4

ひとこと要約

本論文は、時間変動する通信ネットワークを有する協調的および競合的設定における分散型バッチ多エージェント強化学習（MARL）の最初の有限標本解析を提示する。分散最適化（例：DIGing）を用いた分散型フィットドQイテレーションアルゴリズムを提案し、関数クラス、標本サイズ、計算反復回数が統計的精度に与える影響を定量化する誤差バウンドを確立する。分散計算に起因する追加の誤差項を含む。

ABSTRACT

Despite the increasing interest in multi-agent reinforcement learning (MARL) in multiple communities, understanding its theoretical foundation has long been recognized as a challenging problem. In this work, we address this problem by providing a finite-sample analysis for decentralized batch MARL with networked agents. Specifically, we consider two decentralized MARL settings, where teams of agents are connected by time-varying communication networks, and either collaborate or compete in a zero-sum game setting, without any central controller. These settings cover many conventional MARL settings in the literature. For both settings, we develop batch MARL algorithms that can be implemented in a decentralized fashion, and quantify the finite-sample errors of the estimated action-value functions. Our error analysis captures how the function class, the number of samples within each iteration, and the number of iterations determine the statistical accuracy of the proposed algorithms. Our results, compared to the finite-sample bounds for single-agent RL, involve additional error terms caused by decentralized computation, which is inherent in our decentralized MARL setting. This work appears to be the first finite-sample analysis for batch MARL, a step towards rigorous theoretical understanding of general MARL algorithms in the finite-sample regime.

研究の動機と目的

• 中央集権的制御のない分散設定における多エージェント強化学習（MARL）の有限標本理論的保証の欠如に取り組む。
• 時間変動する通信ネットワークを有する協調的および競合的（ゼロサム）設定におけるバッチMARLアルゴリズムのきめ細かな有限標本誤差解析を提供する。
• 関数クラスの複雑さ、1反復あたりの標本数、反復回数が分散型MARLアルゴリズムの統計的精度に与える影響を特定する。
• 分散計算に起因する誤差項を分離・定量化する性能バウンドを確立する。これは分散型MARLに固有であり、単一エージェントや中央集権的設定には存在しない。
• 実験的MARLの進展と理論的理解のギャップを埋めるために、線形関数近似を用いたバッチMARLに対する非漸近的・有限標本収束保証を提供する。

提案手法

• 中央制御がなく、時間変動するネットワークを介して通信するエージェントを想定した、協調的および競合的MARL設定における分散型フィットドQイテレーションアルゴリズムを提案する。
• 各反復で価値関数のフィッティング問題を解くために、分散型勾配降下法であるDIGingアルゴリズムを用い、エージェント間で分散計算を可能にする。
• 1つの軌道からのデータを用いたバッチ学習フレームワークを導入し、非政策評価を可能にするとともに、関数近似により大きな状態・行動空間を扱う。
• 統計的学習理論のツールを適用し、有限回の反復と標本数の下で、行動価値関数の推定誤差をバウンドする。
• 推定誤差（データ由来）、分散計算誤差（ネットワーク化エージェント由来）、近似誤差（関数クラス由来）に分解される有限標本誤差バウンドを導出する。
• 線形関数近似の場合、特徴次元、標本数、分散計算内の内側ループ反復回数の観点から、誤差の明示的バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 分散型バッチMARLの有限標本性能は、標本数、関数クラスの複雑さ、反復回数にどのように依存するか？
• RQ2 分散計算が、標準の単一エージェントRLのバウンドを上回る追加の誤差項をどのように導入するか？
• RQ3 報酬が非一様で中央制御が存在しない協調的MARLに対しても、有限標本収束保証を確立できるか？
• RQ4 線形近似設定において、関数クラスの次元（例：特徴次元）が性能にどのように影響するか？
• RQ5 分散最適化手順における内側ループ反復回数を増やすことで、分散計算誤差をどの程度低減できるか？

主な発見

• 提案されたバッチMARLアルゴリズムは、推定誤差、分散計算誤差、近似誤差の各項を含む有限標本収束を達成する。
• より多くの標本（Tが大きい）により推定誤差が減少し、Tを増加させるシミュレーションで外側ループの収束が確認された。
• 内側ループ反復回数Lを増やすことで分散計算誤差は減少するが、L ≈ 100を過ぎると著しく減少し、ある閾値を超えると利得が減少する。
• 特徴次元dが大きいほど近似誤差が小さくなり、より豊かな関数クラスが真の価値関数をよりよく表現するため、シミュレーションでも性能向上が確認された。
• Lが比較的小さくても（例：L=10）アルゴリズムは依然として収束するため、初期の分散計算誤差に対して高いロバスト性を示した。
• 理論的バウンドは、バッチMARLにおける類例のないものであり、分散型MARLアルゴリズムの統計的効率を理解する基盤を提供する。