[論文レビュー] Decentralized Multi-Agent Reinforcement Learning with Networked Agents: Recent Advances

Kaiqing Zhang, Zhuoran Yang+1 more|arXiv (Cornell University)|Dec 9, 2019

Distributed Control Multi-Agent Systems参考文献 68被引用数 19

ひとこと要約

この論文は、中央コントローラーが存在しないローカルな通信による協調を行うネットワーク化されたエージェントを有する分散型マルチエージェント強化学習（MARL）における最近の理論的進展をレビューする。共分散ベースのポリシー勾配法やアクター・クリティック手法といったアルゴリズムを提案・分析し、サンプル複雑性および通信効率に関する理論的保証のもとで、分散型・ネットワーク型設定下での収束を示している。

ABSTRACT

Multi-agent reinforcement learning (MARL) has long been a significant and everlasting research topic in both machine learning and control. With the recent development of (single-agent) deep RL, there is a resurgence of interests in developing new MARL algorithms, especially those that are backed by theoretical analysis. In this paper, we review some recent advances a sub-area of this topic: decentralized MARL with networked agents. Specifically, multiple agents perform sequential decision-making in a common environment, without the coordination of any central controller. Instead, the agents are allowed to exchange information with their neighbors over a communication network. Such a setting finds broad applications in the control and operation of robots, unmanned vehicles, mobile sensor networks, and smart grid. This review is built upon several our research endeavors in this direction, together with some progresses made by other researchers along the line. We hope this review to inspire the devotion of more research efforts to this exciting yet challenging area.

研究の動機と目的

• マルチエージェント強化学習（MARL）における理論的分析の課題、特にネットワーク化されたエージェントを有する分散型設定において取り組む。
• 局所的通信を用いた分散型意思決定を可能にすることで、MARLに内在するスケーラビリティおよび非定常性の問題を克服する。
• 分散最適化および共分散理論からの知見を活用して、収束性およびサンプル複雑性が保証されたMARLアルゴリズムを開発する。
• トリガー駆動型およびスカラ値通信メカニズムを用いて、通信のオーバーヘッドを低減することで、MARLにおける通信効率を向上させる。
• 深層関数近似を伴う分散型MARLにおける理論的枠組みを拡張するが、深層RLにおける理論的基盤はまだ限られている

提案手法

• エージェントが中央調整を一切行わず、ローカル観測値と隣接エージェントとの通信のみを用いる分散型MARLフレームワークを提案する。
• 学習の安定化と協調的MARLにおける理論的分析を可能にするために、センタライズド・クリティック・ディセンタライズド・アクターのアーキテクチャを採用する。
• 二重にストキャスティックな混合行列を用いてネットワーク全体で勾配を集約する共分散ベースのポリシー勾配法を導入する。
• 拡散ベースの更新を用いる分散型アクター・クリティックアルゴリズムを適用し、ネットワーク制約下でも最適ポリシーへの収束を保証する。
• 通信ラウンド数を削減する通信効率の良いメカニズム（例：Lazily Aggregated Policy Gradient（LAPG）やスカラ値のみの状態伝送）を設計する。
• 双対性理論および確率的近似を用いて、ネットワーク化MDPにおける分散型ポリシー評価および学習の収束保証を導出する

実験結果

リサーチクエスチョン

• RQ1 分散型MARLアルゴリズムは、中央コントローラーが存在しない状況で、どのように収束性とサンプル効率を達成できるか？
• RQ2 ネットワークトポロジーは、分散型MARLの収束性および通信効率にどのような役割を果たすか？
• RQ3 理論的収束保証を維持したまま、MARLにおける通信オーバーヘッドを低減することは可能か？
• RQ4 分散型MARLアルゴリズムは、他のエージェントの同時的ポリシー更新によって生じる非定常性をどのように扱うか？
• RQ5 分散型・ネットワーク型設定下における深層ニューラルネットワークを用いたMARLに対して、どのような理論的基盤を確立できるか？

主な発見

• 提案された分散型MARLアルゴリズムは、協調的設定下で最適ポリシーへの収束を達成し、サンプル複雑性に関する理論的保証を有する。
• 二重にストキャスティックな混合行列を用いた共分散ベースのポリシー勾配法は、平均ポリシーが定常点に収束することを保証する。
• LAPGやスカラ伝送といった通信効率の良いアルゴリズムは、理論的分析により、通信ラウンド数を削減しながらも収束性を維持していることが示された。
• 双対性理論および勾配-TD更新に基づく分散型アクター・クリティック法は、独立MDP設定下で、平均二乗誤差の非線形率で収束する。
• 時間変動する通信ネットワーク下でも分散型MARLの理論的収束性が確立されており、動的環境への適用可能性が拡張された。
• 深層関数近似を伴う分散型MARLの理論的分析がフレームワークで可能であるが、実験的成果は理論的理解を上回っている