[論文レビュー] Efficient Model-Based Multi-Agent Mean-Field Reinforcement Learning

Barna Pásztor, Ilija Bogunovic+1 more|arXiv (Cornell University)|Jul 8, 2021

Gaussian Processes and Bayesian Inference参考文献 69被引用数 6

ひとこと要約

本論文では、未知の連続状態・連続行動系で大規模な同種エージェント群が相互作用する状況において、探索と活用を効率的にバランスさせるモデルベースのマルチエージェント平均場強化学習アルゴリズムM3-UCRLを提案する。新たな平均場解析を用いて、証明可能な低レグレットを達成し、シミュレータを用いず実世界の相互作用からダイナミクスを学習した場合でも、スウォーム運動および混雑度を考慮したナビゲーションタスクでほぼ最適な性能を発揮する。

ABSTRACT

Learning in multi-agent systems is highly challenging due to several factors including the non-stationarity introduced by agents' interactions and the combinatorial nature of their state and action spaces. In particular, we consider the Mean-Field Control (MFC) problem which assumes an asymptotically infinite population of identical agents that aim to collaboratively maximize the collective reward. In many cases, solutions of an MFC problem are good approximations for large systems, hence, efficient learning for MFC is valuable for the analogous discrete agent setting with many agents. Specifically, we focus on the case of unknown system dynamics where the goal is to simultaneously optimize for the rewards and learn from experience. We propose an efficient model-based reinforcement learning algorithm, $M^3-UCRL$, that runs in episodes, balances between exploration and exploitation during policy learning, and provably solves this problem. Our main theoretical contributions are the first general regret bounds for model-based reinforcement learning for MFC, obtained via a novel mean-field type analysis. To learn the system's dynamics, $M^3-UCRL$ can be instantiated with various statistical models, e.g., neural networks or Gaussian Processes. Moreover, we provide a practical parametrization of the core optimization problem that facilitates gradient-based optimization techniques when combined with differentiable dynamics approximation methods such as neural networks.

研究の動機と目的

• 大規模かつ相互作用的なエージェント群によるマルチエージェント強化学習における非定常性とスケーラビリティの課題に対処すること。
• 未知のシステムダイナミクスを有する平均場制御（MFC）問題向けに、サンプル効率的でモデルベースのRLアルゴリズムを開発すること。
• シミュレータや既知のダイナミクスに依存せずに、実世界の相互作用を通じてオンラインでポリシー学習を可能にすること。
• 平均場型の理論的分析を用いて、モデルベースMFCの新たなレグレットバウンドを提供すること。
• 深層学習モデル（例：ニューラルネットワーク）と互換性があり、微分可能で実用的なフレームワークを設計すること。

提案手法

• 上界信頼区間を用いて探索と活用をバランスさせるエピソードベースのモデルベースRLアルゴリズムM3-UCRLを提案する。
• エージェント個々の状態ではなく、エージェント状態分布に基づいてシステムダイナミクスと報酬を平均場近似でモデル化する。
• オンライン相互作用データから未知のシステムダイナミクスを統計モデル（例：ニューラルネットワークやガウス過程）で学習する。
• コア最適化問題の微分可能パラメータ化を適用し、ニューラルネットワークを用いたダイナミクスモデルと組み合わせて勾配ベースのポリシー学習を可能にする。
• 平均場型理論的分析を用いて、エージェント数に依存しない新たなモデルベースMFCのレグレットバウンドを導出する。
• 学習済みダイナミクスの信頼区間を用いた楽観的探索を採用し、効率的な探索と収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 未知のダイナミクスを有するマルチエージェント平均場制御において、モデルベースRLアルゴリズムが証明可能な低レグレットを達成できるか？
• RQ2 連続状態空間および連続行動空間を持つ大規模マルチエージェントシステムにおいて、探索と活用をどのように効果的にバランスできるか？
• RQ3 実世界の相互作用から学習したダイナミクスモデルが、MFC問題においてほぼ最適なポリシーへの収束をどの程度可能にするか？
• RQ4 混雑効果などの動的複雑性や、初期平均場分布の変化に対して、アルゴリズムの性能はどのように変化するか？
• RQ5 連続時間解析解と比較して、時間離散化が学習済みポリシーの最適性に及ぼす影響は何か？

主な発見

• M3-UCRLは、標準的および混雑度を考慮したスウォーム運動タスクの両方において、少数のエピソードでほぼ最適なポリシーに収束する。
• 真のダイナミクスが分かっている場合のベンチマークに近いエピソード報酬を達成し、性能の変動が最小限に抑えられる。
• 混雑度を考慮した設定ですでに16ステップ目で、M3-UCRLが誘導する平均場分布が、真の最適分布に非常に近づく。
• M3-UCRLは、一様分布や正規分布といった異なる初期平均場分布に対してもロバストであり、迅速に安定で高報酬の状態に誘導する。
• M3-UCRLが学習するポリシーは、真のダイナミクスが分かっている場合とほぼ同一であり、複雑なダイナミクスを効果的に学習・活用できることを確認した。
• 時間離散化による連続時間最適解からのずれに対しても、M3-UCRLは高い性能を維持しており、モデリングの近似に強く、耐性があることが示された。