[論文レビュー] Natural Actor-Critic Converges Globally for Hierarchical Linear Quadratic Regulator

Yuwei Luo, Zhuoran Yang+2 more|arXiv (Cornell University)|Dec 14, 2019

Reinforcement Learning in Robotics参考文献 57被引用数 8

ひとこと要約

本稿では、部分的交換可能性下でのマルチエージェント線形二次調節器（LQR）に対して、階層的ネイチャルアクタクリティックアルゴリズムを提案する。モデルフリー学習を可能にし、エージェント数に依存しない計算複雑性を実現する。最適方策へのグローバル線形収束を確立し、非一様なマルチエージェントシステムにおける次元の呪いを克服する。

ABSTRACT

Multi-agent reinforcement learning has been successfully applied to a number of challenging problems. Despite these empirical successes, theoretical understanding of different algorithms is lacking, primarily due to the curse of dimensionality caused by the exponential growth of the state-action space with the number of agents. We study a fundamental problem of multi-agent linear quadratic regulator (LQR) in a setting where the agents are partially exchangeable. In this setting, we develop a hierarchical actor-critic algorithm, whose computational complexity is independent of the total number of agents, and prove its global linear convergence to the optimal policy. As LQRs are often used to approximate general dynamic systems, this paper provides an important step towards a better understanding of general hierarchical mean-field multi-agent reinforcement learning.

研究の動機と目的

• マルチエージェント強化学習（MARL）における高次元の状態行動空間の課題に取り組むこと、特にエージェントが完全に交換可能でない場合を想定する。
• 部分的交換可能性を活用することで、階層的サブポピュレーション構造を介し、MARLにおける次元の呪いを克服する。
• 各サブポピュレーション内のエージェント数に依存しない計算効率の高いモデルフリーで、アクタクリティックアルゴリズムを構築する。
• 階層的線形二次調節器の文脈において、提案アルゴリズムの非漸近的グローバル収束保証を確立する。
• 自然アクタクリティック手法を構造的かつ非一様なエージェントシステムに拡張することで、階層的平均場MARLの理論的基盤を構築する。

提案手法

• エージェント内での対称性を活用し、部分的交換可能性に基づいてマルチエージェントLQRをサブポピュレーションレベルの制御問題に分解する。
• 各サブポピュレーションに対して補助系を定義し、中心化された状態、行動、ノイズ変数を用いて、平均場効果と個々のエージェントのダイナミクスを分離する。
• クリティックが平均場ダイナミクスを用いて価値関数を推定する階層的アクタクリティックフレームワークを構築し、アクターが自然方策勾配を用いて方策を更新する。
• ブロック行列分解を用いて、サブポピュレーション内（対角）およびサブポピュレーション間（非対角）のシステムダイナミクスおよびコスト行列を分離する。
• サンプル効率と収束安定性を向上させるために、フィッシャー情報行列の推定を伴う自然方策勾配更新を適用する。
• 集約平均場ベクトルとブロックワイドのシステム行列を導入し、サブポピュレーション全体の集団的行動を表現することで、スケーラブルな学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーのアクタクリティックアルゴリズムは、部分的交換可能性下での階層的マルチエージェントLQRシステムにおいてグローバル収束を達成できるか？
• RQ2 提案された階層的ネイチャルアクタクリティックアルゴリズムは、総エージェント数に依存せずに計算効率を維持できるか？
• RQ3 収束保証を維持しつつ、サブポピュレーション間の非一様性はどのように処理されるか？
• RQ4 マルチエージェントLQRの文脈において、階層的アクタクリティックアルゴリズムの非漸近的収束速度は何か？
• RQ5 自然方策勾配フレームワークは、保証付きグローバル収束を有する階層的平均場MARLに拡張可能か？

主な発見

• 提案された階層的ネイチャルアクタクリティックアルゴリズムは、部分的交換可能性下でのマルチエージェントLQR設定において、最適方策へのグローバル線形収束を達成する。
• アルゴリズムの計算複雑性は、各サブポピュレーション内のエージェント数に依存せず、次元の呪いを効果的に克服する。
• 収束速度は非漸近的かつ線形であり、適切な条件下では反復回数に伴い誤差が指数関数的に減少する。
• 平均場近似を用いてシステムをサブポピュレーションレベルの問題に効果的に分解し、非一様なエージェントシステムにおけるスケーラブルな学習を可能にする。
• 理論的分析により、自然方策勾配更新が高次元設定ですら安定的かつ効率的な方策改善を保証することが確認された。
• 複数の平均場と非一様なサブポピュレーションを許容するため、平均場MARLを一般化し、交通制御やマルチユニットロボティクスなどの実世界システムへの応用範囲を広げた。