[論文レビュー] R-MADDPG for Partially Observable Environments and Limited Communication

Rose E. Wang, Michael Everett+1 more|arXiv (Cornell University)|Feb 16, 2020

Reinforcement Learning in Robotics参考文献 25被引用数 64

ひとこと要約

R-MADDPGを導入する。これは部分観測と限定的な通信の下での協調のための再帰的マルチエージェント Actor-Critic フレームワークであり、再帰的Criticが現実世界に近いMARLタスクの学習において決定的に重要であることを示す。

ABSTRACT

There are several real-world tasks that would benefit from applying multiagent reinforcement learning (MARL) algorithms, including the coordination among self-driving cars. The real world has challenging conditions for multiagent learning systems, such as its partial observable and nonstationary nature. Moreover, if agents must share a limited resource (e.g. network bandwidth) they must all learn how to coordinate resource use. This paper introduces a deep recurrent multiagent actor-critic framework (R-MADDPG) for handling multiagent coordination under partial observable set-tings and limited communication. We investigate recurrency effects on performance and communication use of a team of agents. We demonstrate that the resulting framework learns time dependencies for sharing missing observations, handling resource limitations, and developing different communication patterns among agents.

研究の動機と目的

• 現実世界の MARL設定における部分観測性、非定常性、およびエージェント間の通信制約に対処する。
• 移動と通信方針を同時に学習する再帰的マルチエージェント Actor-Critic モデルを開発する。
• 部分観測性と通信制約の下での学習において、再帰的Criticの重要性を実証する。
• 再現と拡張のための R-MADDPG のオープンソース実装を提供する。

提案手法

• MADDPG を完全に再帰的な Actor-Critic アーキテクチャへ拡張し、マルチエージェントの協調を実現する。
• 物理的なナビゲーション用と通信用の二つの方針を並行して学習する。
• アクターとクリティックの再帰性の役割を調べるために、三つの再帰モデル変種を用いる。
• ノンステーション性を緩和するため、全エージェントの観測と行動を含む集中型クリティックで訓練する。
• 部分観測性と限定的な通信予算の下で評価し、性能と出現する通信パターンを分析する。
• 参照された GitHub リポジトリにオープンソース実装を提供する。

実験結果

リサーチクエスチョン

• RQ1 再帰的アーキテクチャは、部分観測性と限定的な通信の下で効果的な協調を実現できるだろうか？
• RQ2 部分観測的 MARL 設定における学習にとって再帰的クリティックは必須なのか、そして再帰的アクターのみとどう比較されるのか？
• RQ3 通信予算は協調の性能と出現する戦略にどのような影響を与えるか？
• RQ4 帯域幅が制約されるとき、出現する通信と協調パターンは何か？

主な発見

• 完全に再帰的な Actor-Critic モデルは、部分観測性と通信制限の下での学習を可能にする。
• 再帰的クリティックは、部分観測可能でマルチエージェント環境での学習を可能にする重要な要素であり、再帰的アクターのみでは不十分である。
• MADDPG は部分観測性と限定的な通信の下で苦戦し、クリティックにおける再帰性の必要性を浮き彫りにする。
• 通信予算を増やすと性能が向上し報酬分散が低下する、すなわち帯域幅と協調品質のトレードオフを示す。
• R-MADDPG は、異なる通信予算の下で目標到達の協調を実現し、限られたメッセージの下で待機や到着を同期させるような出現パターンが現れる。