[論文レビュー] A Visual Communication Map for Multi-Agent Deep Reinforcement Learning

Ngoc Duy Nguyen, Thanh Thi Nguyen+2 more|arXiv (Cornell University)|Jan 1, 2020

Reinforcement Learning in Robotics参考文献 50被引用数 5

ひとこと要約

本論文は、エージェントの状態を全エージェントが視認可能な視覚的指標として表現することで、スケーラブルで多様なマルチエージェント強化学習を可能にする視覚的通信マップ（VCM）を提案する。環境の観測と統合された共有ConvNetに組み込まれることで、VCMは学習の効率性と頑健性を向上させ、3エージェントの産業的設定において標準的なA3Cに比べ200%優れた性能を発揮した。

ABSTRACT

Deep reinforcement learning has been applied successfully to solve various real-world problems and the number of its applications in the multi-agent settings has been increasing. Multi-agent learning distinctly poses significant challenges in the effort to allocate a concealed communication medium. Agents receive thorough knowledge from the medium to determine subsequent actions in a distributed nature. Apparently, the goal is to leverage the cooperation of multiple agents to achieve a designated objective efficiently. Recent studies typically combine a specialized neural network with reinforcement learning to enable communication between agents. This approach, however, limits the number of agents or necessitates the homogeneity of the system. In this paper, we have proposed a more scalable approach that not only deals with a great number of agents but also enables collaboration between dissimilar functional agents and compatibly combined with any deep reinforcement learning methods. Specifically, we create a global communication map to represent the status of each agent in the system visually. The visual map and the environmental state are fed to a shared-parameter network to train multiple agents concurrently. Finally, we select the Asynchronous Advantage Actor-Critic (A3C) algorithm to demonstrate our proposed scheme, namely Visual communication map for Multi-agent A3C (VMA3C). Simulation results show that the use of visual communication map improves the performance of A3C regarding learning speed, reward achievement, and robustness in multi-agent problems.

研究の動機と目的

• マルチエージェント深層強化学習における多数で多様なエージェント間の通信を可能にする課題に対処すること。
• エージェントの同一性を前提としたりスケーラビリティを制限する既存手法の限界を克服すること。
• いかなる深層強化学習アルゴリズムとも互換性を持つ通信メカニズムを開発すること。
• 非定常的かつ確率的なマルチエージェント環境において、学習速度、報酬達成、および頑健性の向上を図ること。

提案手法

• 各エージェントの現在の状態を全エージェントが視認可能な視覚的指標として表現するグローバルな視覚的通信マップを構築する。
• 視覚的特徴（例：色、形状、位置）を用いてエージェントの状態を表現し、共有され、認識可能な通信媒体を形成する。
• 視覚的通信マップと環境状態を共有パラメータを持つ畳み込みニューラルネットワーク（ConvNet）に供給し、統合的表現学習を実施する。
• 全結合ネットワークとポリシーヘッドを用いて、統合された視覚的および環境的入力に基づき行動を予測する。
• VCMを非同期アドバンテージアクトアクリティク（A3C）アルゴリズムと統合し、VMA3Cフレームワークを構築する。
• 各エージェントが明示的な通信プロトコルを用いずに、共有の視覚的キューを用いて行動を調整できる、分散型かつ自己教師ありのポリシー学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 視覚的通信マップは、多数で多様なエージェント間における協調を、マルチエージェント深層強化学習において効果的に可能にするか？
• RQ2 標準的なA3Cと比較して、視覚的通信マップは学習速度、最終的パフォーマンス、および頑健性をどのように向上させるか？
• RQ3 VCMフレームワークは特定の強化学習アルゴリズムからどれほど独立して設計され、依然として有効性を保つことができるか？
• RQ4 ノイズや遅延のある観測（誤り率）といった確率的条件下では、この手法はどのように性能を発揮するか？
• RQ5 VCMは動的かつ非定常な環境を有する複雑な現実世界のマルチエージェントタスクを処理できるか？

主な発見

• 2エージェントのミルク工場設定において、12時間の学習後、VMA3Cは標準的なA3Cに比べ200%高い最大報酬を達成した。
• 3エージェント設定では、VMA3Cはピーク総報酬900を達成したのに対し、A3Cは同じ学習期間で300にとどまった。
• VMA3Cは誤り率2%から5%の範囲で変動する環境でも、高い報酬を維持し、頑健な性能を示した。
• 視覚的通信マップは、2エージェントおよび3エージェントの両設定において、学習速度の著しい加速とポリシー収束の改善をもたらした。
• A3Cは高い誤り率下で性能が低下したが、VMA3Cは安定したまま効果的であり、環境ノイズに対する優れた頑健性を示した。
• この手法により、ミルク工場環境で2台のピックアップロボットと1台のメンテナンスロボットが同時に動作可能となり、スケーラビリティと協調性の両面で実証された。