[論文レビュー] Regret Bounds for Decentralized Learning in Cooperative Multi-Agent Dynamical Systems

Seyed Mohammad Asghari, Yi Ouyang+1 more|arXiv (Cornell University)|Jan 27, 2020

Advanced Bandit Algorithms Research参考文献 53被引用数 4

ひとこと要約

本稿では、部分的なシステム知識と制限された通信を伴う協調的線形二次（LQ）力学系に対する分散型マルチエージェント強化学習（MARL）アルゴリズムを提案する。補助的な単一エージェントLQ問題を暗黙の調整メカニズムとして構築することで、レグレットバウンドが $\tilde{O}(\sqrt{T})$ に達し、単一エージェントLQ制御における理論的性能バウンドと一致する。これは、動的システムが未知であるエージェントが1つであり、通信が一方通行であっても成立する。

ABSTRACT

Regret analysis is challenging in Multi-Agent Reinforcement Learning (MARL) primarily due to the dynamical environments and the decentralized information among agents. We attempt to solve this challenge in the context of decentralized learning in multi-agent linear-quadratic (LQ) dynamical systems. We begin with a simple setup consisting of two agents and two dynamically decoupled stochastic linear systems, each system controlled by an agent. The systems are coupled through a quadratic cost function. When both systems' dynamics are unknown and there is no communication among the agents, we show that no learning policy can generate sub-linear in $T$ regret, where $T$ is the time horizon. When only one system's dynamics are unknown and there is one-directional communication from the agent controlling the unknown system to the other agent, we propose a MARL algorithm based on the construction of an auxiliary single-agent LQ problem. The auxiliary single-agent problem in the proposed MARL algorithm serves as an implicit coordination mechanism among the two learning agents. This allows the agents to achieve a regret within $O(\sqrt{T})$ of the regret of the auxiliary single-agent problem. Consequently, using existing results for single-agent LQ regret, our algorithm provides a $ ilde{O}(\sqrt{T})$ regret bound. (Here $ ilde{O}(\cdot)$ hides constants and logarithmic factors). Our numerical experiments indicate that this bound is matched in practice. From the two-agent problem, we extend our results to multi-agent LQ systems with certain communication patterns.

研究の動機と目的

• 未知のシステム動的特性と制限された通信を伴う分散型マルチエージェント強化学習（MARL）におけるレグレット解析の課題に取り組む。
• 両エージェントが動的システムを未知としており、通信が一切ない状況における、レグレット性能の根本的限界を確立する。
• 部分的なシステム知識と非対称な情報フローが存在する状況において、サブ線形レグレットを達成するMARLアルゴリズムを設計する。
• 提示されたフレームワークを、構造的な通信パターンを持つマルチエージェントLQシステムに拡張する。

提案手法

• 2つの分散型エージェント間の暗黙の調整メカニズムとして、補助的な単一エージェントLQ問題を構築する。
• 未知のシステムを制御するエージェントから他のエージェントへの一方通行通信を用いて、学習の協調を可能にする。
• レグレットを、システムパラメータの完全な知識がある場合の最適コストと、MARL方策によるコストとの累積差分として定義する。
• 既存の単一エージェントLQレグレットバウンド（例：Abbasi-Yadkori & Szepesvári, 2011）を活用し、MARLアルゴリズムのレグレットバウンドを導出する。
• マルチエージェントシステムを集中型補助問題に変換することで、学習と制御方策設計を分離する。
• 状態推定誤差ダイナミクスとトレースに基づくバウンドを用い、MARLアルゴリズムのレグレットを補助単一エージェント問題のレグレットに関連付ける。

実験結果

リサーチクエスチョン

• RQ1 両エージェントが未知のシステム動的特性を有し、通信が一切許可されない状況において、サブ線形レグレットを達成できるか？
• RQ2 一方通行通信と部分的システム知識を有する2エージェント協調的LQシステムにおける根本的レグレット限界は何か？
• RQ3 補助的な単一エージェントLQ問題は、マルチエージェントシステム内の2つの分散型エージェントをどのように暗黙に調整できるか？
• RQ4 単一エージェントLQ学習アルゴリズムのレグレットを用いて、分散型MARLアルゴリズムのレグレットをバウンドできるか？
• RQ5 構造的な通信パターンは、マルチエージェントLQシステムにおけるレグレット性能にどのように影響するか？

主な発見

• 両エージェントが未知のシステム動的特性を有し、通信が一切許可されない場合、いかなる学習方策でも $T$ に対してサブ線形レグレットを達成できない。レグレットは最悪でも線形である。
• 未知のシステムを制御するエージェントからの一方通行通信を介して、提案されたMARLアルゴリズムはレグレットバウンド $\tilde{O}(\sqrt{T})$ を達成する。
• MARLアルゴリズムのレグレットは、推定誤差に起因する $O(\sqrt{T})$ の項を加えた補助単一エージェントLQ問題のレグレットでバウンドされる。
• 数値実験により、理論的 $\tilde{O}(\sqrt{T})$ レグレットバウンドが実際のシナリオでも達成されていることが確認された。
• 2方向通信が可能で、両エージェントが動的システムを未知としているマルチエージェントシステムでは、MARLアルゴリズムのレグレットは補助単一エージェントLQ問題のレグレットと等しくなる。$R(T,\texttt{AL-MARL3}) = R^\diamond(T,\texttt{AL-SARL})$ を達成する。
• 本手法は、特定の通信パターンを持つマルチエージェントLQシステムへ一般化可能であり、適切な仮定のもとで $\tilde{O}(\sqrt{T})$ のレグレットを維持する。