[論文レビュー] A Joint Learning and Communication Framework for Multi-Agent Reinforcement Learning over Noisy Channels.

Tze-Yang Tung, Joan S. Pujol Roig+2 more|arXiv (Cornell University)|Jan 2, 2021

Reinforcement Learning in Robotics参考文献 36被引用数 4

ひとこと要約

本論文は、ノイズのあるチャネルを環境ダイナミクスの一部として統合した、マルチエージェント強化学習（MARL）における連携学習および通信フレームワークを提案する。MA-POMDPフレームワークに通信を統合することで、信頼性の低いチャネルを経てもエージェントは効果的に協調学習を実現し、通信と学習を別々に処理する手法よりも、協調タスクにおいて優れた性能を発揮する。

ABSTRACT

We propose a novel formulation of the effectiveness problem in communications, put forth by Shannon and Weaver in their seminal work [2], by considering multiple agents communicating over a noisy channel in order to achieve better coordination and cooperation in a multi-agent reinforcement (MARL) framework. Specifically, we consider a multi-agent partially observable Markov decision process (MA-POMDP), in which the agents, in addition to interacting with the environment can also with each other over a noisy communication channel. The noisy communication channel is considered explicitly as part of the dynamics of the environment and the message each agent sends is part of the action that the agent can take. As a result, the agents learn not only to collaborate with each other but also to effectively over a noisy channel. This framework generalizes both the traditional communication problem, where the main goal is to convey a message reliably over a noisy channel, and the learning to communicate framework that has received recent attention in the MARL literature, where the underlying communication channels are assumed to be error-free. We show via examples that the joint policy learned using the proposed framework is superior to that where the communication is considered separately from the underlying MA-POMDP. This is a very powerful framework, which has many real world applications, from autonomous vehicle planning to drone swarm control, and opens up the rich toolbox of deep reinforcement for the design of multi-user communication systems.

研究の動機と目的

• ノイズのあるチャネル環境下におけるマルチエージェント強化学習における効果的通信の課題に取り組むこと。
• ノイズのあるチャネルを環境ダイナミクスの一部としてモデル化することで、従来の通信問題とMARLを統合すること。
• 部分的に観測可能な環境において、エージェントが最適な方策と耐障害性のある通信戦略を同時に学習できるようにすること。
• 誤りなし通信を仮定する既存のフレームワークや、通信を別モジュールとして扱う手法を一般化すること。

提案手法

• 通信チャネルを環境ダイナミクスの一部として明示的にモデル化したマルチエージェント部分的観測マルコフ意思決定過程（MA-POMDP）を定式化すること。
• 各エージェントのメッセージをそのアクション空間の一部として扱い、通信と協調のエンドツーエンド学習を可能にすること。
• ノイズのあるチャネルを環境内の確率的遷移としてモデル化し、メッセージの信頼性に影響を与えること。
• 深層強化学習を用いて、方策と通信戦略を同時に最適化すること。
• チャネル状態に応じてメッセージを適応的に変更できるようにエージェントを訓練することで、耐障害性と協調性を向上させること。
• 通信を学習プロセスに統合するという点で、従来の手法を一般化し、別個のコンponentとして扱うのではなく、学習プロセスに統合すること。

実験結果

リサーチクエスチョン

• RQ1 ノイズのあるチャネルを介した通信と協調の連携学習は、通信と学習を別々に処理する手法と比較して、マルチエージェントのパフォーマンスをどのように向上させるか？
• RQ2 チャネルを明示的にモデル化することは、MA-POMDPにおける方策の耐障害性と協調性にどのような影響を与えるか？
• RQ3 誤りなしの仮定に依存せずに、エージェントがチャネルノイズに適応する有効な通信戦略を学習できるか？
• RQ4 本フレームワークは、既存のMARLおよび通信専用のアプローチと比較して、協調性の質においてどのように異なるか？
• RQ5 本フレームワークは、ドローンスワームや自動運転車両などの実世界の応用にどのような意味を持つのか？

主な発見

• 連携学習フレームワークは、通信と学習を分離する手法と比較して、協調パフォーマンスを顕著に向上させる。
• 本フレームワークで訓練されたエージェントは、ノイズのある条件下でもマルチエージェント協調タスクにおけるタスク成功確率をより高く達成する。
• 本フレームワークは、チャネルエラーに強い通信戦略を学習可能にし、完全な伝送に依存する必要を低減する。
• MA-POMDPダイナミクスにノイズのあるチャネルを統合することで、より現実的で効果的な方策学習が可能になる。
• 通信と学習を統合することで、従来の手法を一般化し、複雑でノイズの多い環境でも優れたパフォーマンスを示す。
• 本フレームワークは、通信の信頼性が極めて重要な自動運転車両の協調制御やドローンスワーム制御などの実世界システムに適用可能である。