[論文レビュー] Mean-Field Controls with Q-learning for Cooperative MARL: Convergence and Complexity Analysis

Haotian Gu, Xin Guo+2 more|arXiv (Cornell University)|Feb 10, 2020

Traffic control and management被引用数 14

ひとこと要約

本稿では、平均場制御（MFC）近似を用いた、協調的マルチエージェント強化学習（MARL）のためのモデルフリーなカーネルベースQ学習アルゴリズム、MFC-K-Qを提案する。線形収束性とN（エージェント数）に依存しないサンプル複雑性を確立し、NエージェントMARL問題への近似誤差がO(1/√N)であることを示し、N > 50の状況において既存のMARL手法を上回る性能を実験的に確認した。

ABSTRACT

Multi-agent reinforcement learning (MARL), despite its popularity and empirical success, suffers from the curse of dimensionality. This paper builds the mathematical framework to approximate cooperative MARL by a mean-field control (MFC) approach, and shows that the approximation error is of $\mathcal{O}(\frac{1}{\sqrt{N}})$. By establishing an appropriate form of the dynamic programming principle for both the value function and the Q function, it proposes a model-free kernel-based Q-learning algorithm (MFC-K-Q), which is shown to have a linear convergence rate for the MFC problem, the first of its kind in the MARL literature. It further establishes that the convergence rate and the sample complexity of MFC-K-Q are independent of the number of agents $N$, which provides an $\mathcal{O}(\frac{1}{\sqrt{N}})$ approximation to the MARL problem with $N$ agents in the learning environment. Empirical studies for the network traffic congestion problem demonstrate that MFC-K-Q outperforms existing MARL algorithms when $N$ is large, for instance when $N>50$.

研究の動機と目的

• 協調的マルチエージェント強化学習（MARL）における次元の呪いを解消し、エージェント数Nに伴い指数関数的に増加するサンプル複雑性を抑制すること。
• 平均場制御（MFC）を用いた協調的MARLの近似のための数学的枠組みを確立し、大規模エージェントシステムにおけるスケーラブルな学習を可能にすること。
• Nに依存しない線形収束性とサンプル複雑性を達成する、モデルフリーでカーネルベースのQ学習アルゴリズム（MFC-K-Q）を設計すること。
• MFC解とNエージェントMARL問題との間の近似誤差がO(1/√N)であることを証明し、アプローチのスケーラビリティを検証すること。
• 大規模な環境において、特にN > 50の状況（例：ネットワークの交通混雑）において、MFC-K-Qが既存のMARLアルゴリズムを上回ることを実験的に示すこと。

提案手法

• 状態・行動空間を拡張し、報酬とダイナミクスを集約することで、確率測度上に定義された決定的平均場制御問題を定式化し、確率測度上での動的プログラミング原理（DPP）の適用を可能にする。
• Q関数とベルマン作用素のカーネル回帰に基づく近似を提案し、拡張された状態・行動空間上のεネットを用いて次元削減を実現する。
• 学習率η = 1の固定点反復を、サンプルデータに適用し、拡張されたMFCダイナミクスの決定的性質を活用して収束解析を簡素化する。
• 基礎となるダイナミクスの正則性特性を用いて、状態空間および行動空間における近似誤差を制御し、安定性と収束性を保証する。
• ∞-ノルムにおける収束性を確立し、混合性仮定の下でLpノルムへの拡張を可能にし、ニューラルネットワークによる関数近似を可能にする。
• 状態・行動空間のための新規なリフト技術を採用し、学習率の選択を容易にするとともに、確率的ダイナミクスに基づくアプローチと比較してサンプル複雑性を低減する。

実験結果

リサーチクエスチョン

• RQ1 エージェント数Nが増加する際、平均場制御が、誤差境界が保証されたスケーラブルな近似を提供できるか？
• RQ2 カーネル回帰に基づくモデルフリーQ学習アルゴリズムが、平均場制御設定において線形収束性とNに依存しないサンプル複雑性を達成できるか？
• RQ3 平均場制御解と真のNエージェントMARL問題との間の近似誤差は何か？また、その誤差はNにどのように依存するか？
• RQ4 提案されたMFC-K-Qアルゴリズムは、大規模環境における既存のMARLアルゴリズムと比較して、性能およびサンプル効率の面で優れているか？
• RQ5 状態・行動空間のためのリフト技術により、決定的ダイナミクスを実現し、MFCにおける収束解析を簡素化し、サンプル複雑性を低減できるか？

主な発見

• 平均場制御解とNエージェントMARL問題との間の近似誤差はO(1/√N)であり、スケーラビリティに対する理論的保証を提供する。
• MFC-K-Qアルゴリズムは、MARL分野において初めて平均場制御問題に対して線形収束率を達成した。
• MFC-K-Qのサンプル複雑性はエージェント数Nに依存せず、状態・行動空間のサイズにのみ依存する。
• ネットワークの交通混雑に関する実験的結果から、N > 50の状況においてMFC-K-Qが既存のMARLアルゴリズムを上回ることを確認し、大規模設定における実用的利点を裏付けた。
• 混合性に関するキーレイマの条件を満たす限り、ガウス分布やボルツマン探索を含む多様な探索方策に対しても収束性およびサンプル複雑性の結果が成立する。
• リプシッツ定数の制御により、ニューラルネットワーク近似における一般化性能がさらに向上することが示された。