[論文レビュー] Multi-Agent Reinforcement Learning in Stochastic Networked Systems

Yiheng Lin, Guannan Qu+2 more|arXiv (Cornell University)|Jun 11, 2020

Age of Information Optimization被引用数 8

ひとこと要約

本稿では、ランダムで時間的に変化する依存関係を示す確率的で非局所的なネットワーク化システムにおけるマルチエージェント強化学習（MARL）のためのスケーラブルなアクタ・クリティック（SAC）フレームワークを提案する。情報伝播をモデル化する一般化された$μ$-減衰性質を導入することで、有限時間収束保証のもとで、証明可能なスケーラビリティを達成し、確率的で非局所的なMARL設定において初めての結果をもたらす。

ABSTRACT

We study multi-agent reinforcement learning (MARL) in a stochastic network of agents. The objective is to find localized policies that maximize the (discounted) global reward. In general, scalability is a challenge in this setting because the size of the global state/action space can be exponential in the number of agents. Scalable algorithms are only known in cases where dependencies are static, fixed and local, e.g., between neighbors in a fixed, time-invariant underlying graph. In this work, we propose a Scalable Actor Critic framework that applies in settings where the dependencies can be non-local and stochastic, and provide a finite-time error bound that shows how the convergence rate depends on the speed of information spread in the network. Additionally, as a byproduct of our analysis, we obtain novel finite-time convergence results for a general stochastic approximation scheme and for temporal difference learning with state aggregation, which apply beyond the setting of MARL in networked systems.

研究の動機と目的

• 無線ネットワークや交通システムなどの現実世界のシステムで一般的に見られる、確率的で非局所的な依存関係を有するマルチエージェント強化学習（MARL）におけるスケーラビリティの課題に対処すること。
• 従来の手法が固定された局所的依存関係（例：隣接エージェント間の相互作用）や指数関数的減衰の仮定に依存しているという限界を克服すること。
• 固定または時間不変の相互作用グラフを必要とせず、一般の確率的で非局所的な依存構造においても動作する、証明可能なスケーラブルなMARLアルゴリズムを開発すること。
• ネットワーク内の情報伝播速度にどのように依存するかを定量化する、有限時間誤差バインディングを確立すること。
• 一般の確率的近似と状態集約を伴うTD学習における有限時間収束結果を導出し、MARLを越えて一般の関数近似に応用可能な理論的貢献を提供すること。

提案手法

• 各エージェントが他のエージェントのランダムな部分集合に依存するという、従来の静的局所的依存関係を一般化した新しい依存構造クラスを提案する。
• 定義2.1で導入される$μ$-減衰性質を用い、確率的ネットワークにおける影響の距離依存減衰を一般化した指数関数的減衰を捉える。
• 局所的近傍情報に基づく状態集約を用いることで、分散的かつスケーラブルな学習を可能にするスケーラブル・アクタ・クリティック（SAC）アルゴリズムを設計する。
• 無限ノルム収縮と状態集約を特徴とする一般化された確率的近似スキームの有限時間解析（定理3.1）を適用し、アルゴリズムの収束保証の根拠とする。
• 写像$h$による状態集約を用い、グローバル状態／行動を局所的メタ状態にグループ化することで、有効な状態空間を縮小しつつ、ポリシーの質を維持する。
• $μ$-減衰性質と有界な$Q$値変動（仮定D.6）を用いて、集約されたMDPの価値関数が真のグローバル$Q$値関数と有界な誤差内で近似されることを証明する。

実験結果

リサーチクエスチョン

• RQ1 確率的で非局所的な依存関係を有する設定において、固定または局所的相互作用がなくともスケーラブルなMARLを達成できるか？
• RQ2 ネットワーク内の情報伝播速度がMARLアルゴリズムの収束速度にどのように影響するか？
• RQ3 指数関数的減衰性質を確率的で非局所的依存関係に対応するように一般化できるか？また、その一般化がスケーラブルな学習を可能にするか？
• RQ4 非i.i.d.設定における状態集約を伴う確率的近似スキームに対して、有限時間収束保証を確立できるか？
• RQ5 提案手法は、非局所的で確率的なネットワークにおいて、既存のMARLアルゴリズムに比べて高いサンプル効率とスケーラビリティを達成できるか？

主な発見

• 提案されたスケーラブル・アクタ・クリティック（SAC）アルゴリズムは、確率的で非局所的なネットワーク化MARL設定において、証明可能な近最適な局所的ポリシーを達成し、これが初めての結果である。
• 有限時間誤差バインディングにより、情報伝播が速くなると、より深い（非局所的）相互作用が頻発し、有効な状態空間の複雑さが増加するため、収束速度が低下することが示された。
• 無限ノルム収縮と状態集約を伴う一般化された確率的近似スキームに対する有限時間収束バインディングを確立し、これは新たな理論的貢献である。
• 状態集約を伴う時系列学習（TD学習）に対しても有限時間バインディングを導出し、MARLを越えて一般の関数近似に応用可能である。
• 集約された$Q$値関数と真のグローバル$Q$値関数との誤差は、$\frac{2\epsilon_{Q^*}}{1-\gamma}$で有界であり、ここで$\epsilon_{Q^*}$は集約状態間での最適$Q$値の変動を捉える。
• 理論的枠組みにより、$μ$-減衰性質のもとでスケーラビリティが達成可能であることが示された。この性質は、先行研究で用いられた指数関数的減衰を一般化したものであり、確率的で非局所的な依存関係に適用可能である。