[論文レビュー] Federated Control with Hierarchical Multi-Agent Deep Reinforcement Learning

Saurabh Kumar, Pararth Shah+2 more|arXiv (Cornell University)|Dec 22, 2017

Reinforcement Learning in Robotics参考文献 9被引用数 22

ひとこと要約

本稿では、分散エージェント間の対話的通信をメタコントローラーが指導する階層的マルチエージェント強化学習フレームワーク「Federated Control with Reinforcement Learning (FCRL)」を提案する。このフレームワークは、協調の複雑さを低減させることで、エージェント数が増加するに従い、標準的なマルチエージェント強化学習（MARL）および階層的強化学習（HRL）のベースラインと比較して優れたスケーラビリティとパフォーマンスを達成する。

ABSTRACT

We present a framework combining hierarchical and multi-agent deep reinforcement learning approaches to solve coordination problems among a multitude of agents using a semi-decentralized model. The framework extends the multi-agent learning setup by introducing a meta-controller that guides the communication between agent pairs, enabling agents to focus on communicating with only one other agent at any step. This hierarchical decomposition of the task allows for efficient exploration to learn policies that identify globally optimal solutions even as the number of collaborating agents increases. We show promising initial experimental results on a simulated distributed scheduling problem.

研究の動機と目的

• 大規模な協調問題におけるマルチエージェント強化学習（MARL）のスケーラビリティの限界を克服すること。
• 準分散型の階層的構造を導入することで、マルチエージェントシステムにおける通信および探索の複雑さを低減すること。
• メタコントローラーが指導する対話的エージェント間交渉を通じて、グローバルに一貫した方策の効率的学習を可能にすること。
• マルチタスク対話や都市交通制御などの実世界の応用において、プライバシーを保護する協調を可能にすること。
• シミュレートされたマルチエージェントスケジューリングタスクにおいて、標準的なMARLおよび階層的強化学習（HRL）ベースラインと比較して、パフォーマンスとスケーラビリティの向上を示すこと。

提案手法

• フレームワークは、遅延した時間スケールで動作するメタコントローラーを用い、ペairワイズのコントローラーと制約を選択して対話的交渉を実施する。
• 各コントローラーは部分的観測下で独立して動作し、セルフプレイと内的報酬を用いて自身の私的価値関数を最適化する。
• コントローラーは、連携行動の妥当性および順序付けの観点から内的報酬を受ける（例：妥当で順序付けられたスケジュール行動）。これにより、方策学習が効率化される。
• メタコントローラーはポリシー勾配法を用いて訓練され、リプレイバッファとQネットワークを介して環境からの累積外的報酬を最大化する。
• 制約機構により、部分タスクが互いに排他的となるように保証され、独立した解決が可能になり、グローバルな協調負担が軽減される。
• 共有リプレイバッファと、ランダムな制約に対するコントローラーの事前学習を用いて、収束を加速する。

実験結果

リサーチクエスチョン

• RQ1 標準的なMARLおよびHRLと比較して、階層的マルチエージェントRLフレームワークは、マルチエージェント協調問題におけるスケーラビリティをどのように向上させるか？
• RQ2 メタコントローラーが指導するペアワイズ通信は、グローバル方策学習の複雑さをどのように低減するか？
• RQ3 エージェント数が増加する際、このフレームワークはどの程度のパフォーマンスを維持するか？
• RQ4 マルチタスク対話や交通制御などの実世界の応用において、プライバシーを保護する協調をサポートできるか？
• RQ5 内的報酬と制約に基づく部分タスク分解を用いることで、学習効率および収束にどのような影響を与えるか？

主な発見

• m=2のエージェントの場合、すべての手法（FCRL、MARL、HRL）が最適なパフォーマンスを達成し、ベースラインの妥当性を確認した。
• m=4の場合、FCRLはMARLおよびHRLを上回り、スケーラビリティと協調効率の向上を示した。
• m=6の場合、HRLおよびMARLは探索が多すぎて正の報酬を達成できなかったが、FCRLは正の学習進行を維持した。
• FCRLのパフォーマンス向上は、問題を排他的な部分タスクに分解し、制約を用いて通信を指導する能力に起因する。
• メタコントローラーは、小さな制約ウィンドウから開始し、必要に応じて拡大するといった複雑な戦略を学習し、初期の非最適なコミットメントを回避した。
• 内的報酬とセルフプレイの使用により、コントローラーの効率的学習が可能となり、メタコントローラーは上位レベルの協調に集中することができた。