[論文レビュー] TarMAC: Targeted Multi-Agent Communication

Abhishek Das, Théophile Gervet+5 more|arXiv (Cornell University)|Oct 26, 2018

Reinforcement Learning in Robotics参考文献 9被引用数 26

ひとこと要約

TarMACは、教師なしで特定の受信者にメッセージを送信するためのソフトアテンション機構を用いて、マルチエージェント強化学習における標的型で複数ラウンドの通信フレームワークを提案する。2次元グリッド、交通交差点、3次元ナビゲーションを含む多様な環境において、協調的および競争的タスクで性能とサンプル効率を向上させ、解釈可能なアテンションパターンと混合設定への強力な一般化性を示す。

ABSTRACT

We propose a targeted communication architecture for multi-agent reinforcement learning, where agents learn both what messages to send and whom to address them to while performing cooperative tasks in partially-observable environments. This targeting behavior is learnt solely from downstream task-specific reward without any communication supervision. We additionally augment this with a multi-round communication approach where agents coordinate via multiple rounds of communication before taking actions in the environment. We evaluate our approach on a diverse set of cooperative multi-agent tasks, of varying difficulties, with varying number of agents, in a variety of environments ranging from 2D grid layouts of shapes and simulated traffic junctions to 3D indoor environments, and demonstrate the benefits of targeted and multi-round communication. Moreover, we show that the targeted communication strategies learned by agents are interpretable and intuitive. Finally, we show that our architecture can be easily extended to mixed and competitive environments, leading to improved performance and sample complexity over recent state-of-the-art approaches.

研究の動機と目的

• 部分的に観測可能な環境におけるエージェントが、全エージェントにブロードキャストするのではなく、誰と通信すべきかを学習できるようにすること。
• 教師なしで、タスク固有の報酬を通じてターゲティングを暗黙的に学習する通信メカニズムを開発すること。
• 複雑な推論を可能にするために、複数ラウンドの通信を可能にし、時間ステップにわたる情報の保持を可能にすること。
• 最小限のアーキテクチャ的変更で、混合および競争的環境へもフレームワークを拡張できること。

提案手法

• エージェントは署名に基づくソフトアテンション機構を用いる：送信者はメッセージに加えて、受信者（キー）を埋め込む。受信者はこのキーを用いて関連性を計算する。
• アテンション機構は、下流タスクの報酬のみを用いて、エンドツーエンドで強化学習（アクター・クリティック法）により訓練される。
• エージェントは内部の再帰的状態を維持することで、複数ラウンドの通信と持続的な情報交換を可能にする。
• 中央集権的訓練と分散実行（CTDE）をサポートするアーキテクチャであり、大規模チームへのスケーラビリティを実現する。
• IC3Netを組み合わせることで、競争的環境への拡張を図り、メッセージの平均化を標的型アテンションに置き換える。
• 連続的なベクトルベースのメッセージを用いることで、エージェントがタスク固有の通信プロトコルを発見できるようにする。

実験結果

リサーチクエスチョン

• RQ1 明示的な通信の監視なしに、エージェントは特定の受信者にメッセージを標的的に送信する能力を学習できるか？
• RQ2 複数ラウンドで標的型の通信は、複雑な協調的タスクにおける性能を向上させるか？
• RQ3 アテンション機構は解釈可能で直感的な通信戦略を生成できるか？
• RQ4 標的型通信は、競争的環境におけるサンプル効率と収束性にどのように影響するか？
• RQ5 最小限のアーキテクチャ的変更で、混合および競争的マルチエージェント設定へもフレームワークを拡張できるか？

主な発見

• SHAPESナビゲーションタスクでは、エージェントが火災関連のメッセージを火災消火隊に、爆弾関連のメッセージを爆弾処理隊にのみ送信するなど、直感的で目的特化のターゲティングを学習した。
• 交通交差点環境では、チーム構成が変化しても、アクティブなエージェントに注目するアテンションの適応が見られ、動的チーム編成に対して高いロバスト性を示した。
• House3Dでは、4エージェントで68.9%の成功率を達成し、高次元の観測を持つ挑戦的な3次元ナビゲーション環境で、先行手法を顕著に上回った。
• 予期しない敵対的環境（Predator-Prey）では、IC3Net + TarMACがIC3Net単体と比較して、捕獲までの平均ステップ数を14.5%削減（7.24 vs. 8.31ステップ）し、収束が速く、サンプル効率が向上した。
• 10エージェント設定では、TarMACの複数ラウンド版が捕獲までのステップ数を30.5%削減（35.57 vs. 41.67ステップ）し、反復的推論の有効性を確認した。
• アテンション確率は解釈可能であり、火災アラートを消火隊に、爆弾アラートを爆弾処理隊に送信する明確な通信パターンを示した。