[論文レビュー] Multi-Agent Reinforcement Learning for Persistent Monitoring.

Jingxi Chen, Amrish Baskaran+2 more|arXiv (Cornell University)|Nov 2, 2020

Reinforcement Learning in Robotics参考文献 21被引用数 4

ひとこと要約

本稿では、ローカル観測と低解像度のグローバルマップを用いて、動的環境を共同で継続的に監視できるマルチエージェント・グラフアテンション・プロキシマル・ポリシーオプティマイゼーション（MA-G-PPO）アルゴリズムを提案する。この手法は、エージェント間での情報共有にグラフアテンション機構を活用し、監視ペナルティを低減する効果的な共同ポリシーを学習し、自己組織的協調行動を示す。

ABSTRACT

The Persistent Monitoring (PM) problem seeks to find a set of trajectories (or controllers) for robots to persistently monitor a changing environment. Each robot has a limited field-of-view and may need to coordinate with others to ensure no point in the environment is left unmonitored for long periods of time. We model the problem such that there is a penalty that accrues every time step if a point is left unmonitored. However, the dynamics of the penalty are unknown to us. We present a Multi-Agent Reinforcement Learning (MARL) algorithm for the persistent monitoring problem. Specifically, we present a Multi-Agent Graph Attention Proximal Policy Optimization (MA-G-PPO) algorithm that takes as input the local observations of all agents combined with a low resolution global map to learn a policy for each agent. The graph attention allows agents to share their information with others leading to an effective joint policy. Our main focus is to understand how effective MARL is for the PM problem. We investigate five research questions with this broader goal. We find that MA-G-PPO is able to learn a better policy than the non-RL baseline in most cases, the effectiveness depends on agents sharing information with each other, and the policy learnt shows emergent behavior for the agents.

研究の動機と目的

• 限られた視野を持つロボットが動的環境を継続的に監視する必要がある、継続的監視（PM）問題に対処すること。
• 未知のペナルティダイナミクスがある状況でも、協調的監視を可能にするマルチエージェント強化学習フレームワークの開発。
• エージェント間の情報共有が、継続的監視タスクにおけるポリシー性能に与える影響の調査。
• マルチエージェント強化学習（MARL）が、明示的なタスク分解なしに自己組織的協調行動を学習できるかの評価。

提案手法

• MA-G-PPOアルゴリズムは、ポリシー学習にプロキシマル・ポリシーオプティマイゼーション（PPO）を用い、隣接エージェントからの情報を集約するためのグラフアテンション機構を統合する。
• 各エージェントの入力には、そのローカル観測と低解像度のグローバルマップが含まれ、空間的文脈を提供する。
• グラフアテンション層により、関連性と近接性に基づいてエージェント間の情報を動的に重み付け・統合できる。
• 未監視時間に対するペナルティを報酬信号として用い、継続的カバレッジを促進するようにポリシーをエンドツーエンドで訓練する。
• 各エージェントが自らの観測と共有情報に基づいて意思決定を行う分散型実行を可能にする。
• エージェントをノードとしてモデル化し、学習可能なアテンションベース通信を用いることで、スケーラブルな協調を実現する。

実験結果

リサーチクエスチョン

• RQ1 MA-G-PPOは、非RLベースラインと比較して、監視ペナルティの低減においてどの程度効果的か？
• RQ2 エージェント間の情報共有が、PM問題におけるポリシー性能にどの程度寄与するか？
• RQ3 MARLフレームワークは、明示的なタスク分解なしに自己組織的協調行動を学習できるか？
• RQ4 低解像度のグローバルマップの導入が、学習効率とポリシー品質に与える影響は？
• RQ5 グラフアテンションの導入が、マルチエージェント監視におけるポリシーの汎化性とロバスト性に与える影響は？

主な発見

• MA-G-PPOは、多数の実験的シナリオにおいて、非RLベースラインを上回る監視ペナルティの低減を達成した。
• エージェントがグラフアテンション機構を介して情報共有を行う場合、孤立学習に比べて性能向上が顕著に顕在された。
• 学習されたポリシーは、空間的分業やギャップをカバーするための動的再配置といった自己組織的協調行動を示した。
• 低解像度のグローバルマップの使用は、ポリシーの収束性とカバレッジの安定性を向上させた。
• グラフアテンションにより、明示的な通信プロトコルを必要とせずに、効果的な通信が実現され、共同性能が向上した。
• 本アルゴリズムは、環境の複雑さやエージェント数の変動に応じても、スケーラビリティとロバスト性を示した。