[論文レビュー] On Improving Model-Free Algorithms for Decentralized Multi-Agent Reinforcement Learning

Weichao Mao, Lin F. Yang+2 more|arXiv (Cornell University)|Oct 12, 2021

Advanced Bandit Algorithms Research被引用数 5

ひとこと要約

本稿では、集中型調整なしに相関均衡およびナッシュ均衡を効率的に学習できる、分散型でモデルフリーのマルチエージェント強化学習アルゴリズムを提案する。一般和マルコフゲームに対して段階ベースのV学習法を導入し、ポテンシャルゲームに対しては動的勾配法に基づく分散型バリアンス低減手法を採用することで、粗い相関均衡のためのサンプル複雑度境界 $ widetilde{O}(H^5 S A_{ ext{max}} / \varepsilon^2)$ とナッシュ均衡のための $ widetilde{O}(1/ varepsilon^4)$ を達成する。

ABSTRACT

Multi-agent reinforcement learning (MARL) algorithms often suffer from an exponential sample complexity dependence on the number of agents, a phenomenon known as \emph{the curse of multiagents}. In this paper, we address this challenge by investigating sample-efficient model-free algorithms in \emph{decentralized} MARL, and aim to improve existing algorithms along this line. For learning (coarse) correlated equilibria in general-sum Markov games, we propose \emph{stage-based} V-learning algorithms that significantly simplify the algorithmic design and analysis of recent works, and circumvent a rather complicated no-\emph{weighted}-regret bandit subroutine. For learning Nash equilibria in Markov potential games, we propose an independent policy gradient algorithm with a decentralized momentum-based variance reduction technique. All our algorithms are decentralized in that each agent can make decisions based on only its local information. Neither communication nor centralized coordination is required during learning, leading to a natural generalization to a large number of agents. We also provide numerical simulations to corroborate our theoretical findings.

研究の動機と目的

• エージェント数の増加に伴い結合行動空間が指数関数的に増大する分散型マルチエージェント強化学習におけるマルチエージェントの呪いに対処する。
• 学習中に集中型調整や通信を必要としない、サンプル効率の高いモデルフリーのアルゴリズムを開発する。
• 一般和マルコフゲームにおける粗い相関均衡の学習に対して理論的収束保証を達成する。
• 複雑なレグレット最小化サブルーチンの代わりに、新規の段階ベースのV学習フレームワークを導入することでアルゴリズム設計を簡素化する。
• シミュレート環境において、独立学習やベースライン手法と比較して、実験的に優れた性能を示す。

提案手法

• 一般和マルコフゲームにおける段階ベースのV学習アルゴリズムを提案し、複雑な重みなしレグレット最小化バンディットサブルーチンの必要性を回避する。
• マルコフポテンシャルゲームにおいて、分散型のモーメンタムベースのバリアンス低減技術を用いた独立的勾配法を導入する。
• 完全な分散化を確保：各エージェントは通信や調整なしに、局所的な情報（局所的行動、報酬、価値推定）のみを用いる。
• 楽観的価値関数推定とパラメータ $\gamma_i$ を用いた暗黙的探索を導入し、V学習における十分な探索を促進する。
• 性能比較のため、集中型オラクルベンチマークでホーフィングに基づく信頼区間とUCB-ADVANTAGE風の更新を適用する。
• 収束性と安定性を考慮し、適応的ステップサイズ $\eta_i$ とモーメンタムパラメータ $a_t$ を調整してアルゴリズムを実装する。

実験結果

リサーチクエスチョン

• RQ1 一般和マルコフゲームにおける粗い相関均衡の学習のため、複雑なレグレット最小化サブルーチンに依存しない、より単純で効率的なモデルフリーのアルゴリズムを設計できるか？
• RQ2 通信不可な分散型環境下で、マルコフポテンシャルゲームにおけるナッシュ均衡のサンプル効率の高い学習をどのように達成できるか？
• RQ3 大規模マルチエージェントシステムにおける均衡の学習を目的とした、分散型でモデルフリーのマルチエージェント強化学習アルゴリズムの理論的サンプル複雑度は何か？
• RQ4 戦略的相互作用を持つマルチエージェント環境において、分散型アルゴリズムはナーヴィな独立学習をどの程度上回るか？
• RQ5 理論的境界は、特に収束速度と最終的性能の観点から、実際の性能とどの程度一致するか？

主な発見

• 段階ベースのV学習アルゴリズムは、一般和マルコフゲームにおける $\varepsilon$-近似粗い相関均衡の学習において、$\widetilde{O}(H^5 S A_{\text{max}} / \varepsilon^2)$ のサンプル複雑度を達成する。
• マルコフポテンシャルゲームでは、モーメンタムベースのバリアンス低減を施した独立的勾配法が、$\varepsilon$-近似ナッシュ均衡の学習において $\widetilde{O}(1/\varepsilon^4)$ のサンプル複雑度を達成する。
• 数値シミュレーションの結果、提案手法の両方とも独立Q学習ベースラインを上回り、GoodStateおよびBoxPushingタスクでは集中型オラクルの性能に近づく。
• 理論的境界よりも実際の収束が速く、理論的サンプル複雑度境界が保守的である可能性を示唆している。
• 分散型のモーメンタムベースのバリアンス低減技術は、ポテンシャルゲームにおける勾配法の訓練を効果的に安定化させ、収束性を向上させる。
• 提案手法は完全に分散型であり、通信や集中型調整を一切不要としており、エージェント数の増加に対してもスケーラブルである。