[論文レビュー] Networked Multi-Agent Reinforcement Learning with Emergent Communication

Shubham Gupta, Rishi Hazra+1 more|arXiv (Cornell University)|Apr 6, 2020

Reinforcement Learning in Robotics参考文献 30被引用数 10

ひとこと要約

本稿では、部分的に観察可能な環境において協調するエージェントが、出現的で離散的な通信言語を発展させるネットワーキングマルチエージェント強化学習フレームワークを提案する。固定されたネットワークトポロジー上でエージェントが記号的なメッセージを交換するように訓練することで、交通管理において最先端の性能を達成し、出現的言語が行動に根ざし、ネットワーク構造によって形作られることを示している。

ABSTRACT

Multi-Agent Reinforcement Learning (MARL) methods find optimal policies for agents that operate in the presence of other learning agents. Central to achieving this is how the agents coordinate. One way to coordinate is by learning to communicate with each other. Can the agents develop a language while learning to perform a common task? In this paper, we formulate and study a MARL problem where cooperative agents are connected to each other via a fixed underlying network. These agents can communicate along the edges of this network by exchanging discrete symbols. However, the semantics of these symbols are not predefined and, during training, the agents are required to develop a language that helps them in accomplishing their goals. We propose a method for training these agents using emergent communication. We demonstrate the applicability of the proposed framework by applying it to the problem of managing traffic controllers, where we achieve state-of-the-art performance as compared to a number of strong baselines. More importantly, we perform a detailed analysis of the emergent communication to show, for instance, that the developed language is grounded and demonstrate its relationship with the underlying network topology. To the best of our knowledge, this is the only work that performs an in depth analysis of emergent communication in a networked MARL setting while being applicable to a broad class of problems.

研究の動機と目的

• 固定されたネットワークトポロジーによって制約を受ける協調的マルチエージェントシステムにおける出現的通信の研究。
• 事前定義された意味論なしに、離散的な記号的通信を学習するスケーラブルなMARL手法の開発。
• 交通管理のような実世界の応用タスクにおいて、出現的言語の有用性と構造の評価。
• ネットワークトポロジーが出現的通信プロトコルの形成と一貫性に与える影響の分析。
• 出現的言語が物理的行動に根ざしており、ネットワークの構造的関係を反映していることの証明。

提案手法

• エージェントは固定されたネットワークに接続され、エッジを介して離散的記号を用いて通信するが、意味論は事前定義されていない。
• エージェントが共有累積報酬を最大化するように、エンドツーエンドで深層強化学習を用いて通信プロトコルを訓練する。
• 語彙埋め込みはアテンションメカニズムから導出され、t-SNEを用いて言語的構造と根拠化の評価が行われる。
• 行動埋め込みはメッセージ-応答行列から計算され、エージェント間でのメッセージ使用の一貫性が評価される。
• メッセージ頻度からtf-idf行列が構築され、語彙分布とコミュニティレベルの通信パターンの分析が行われる。
• 埋め込みのt-SNE可視化により、行動とネットワーク内の構造的コミュニティに対応するクラスタが明らかになる。

実験結果

リサーチクエスチョン

• RQ1 ネットワーキングMARLにおける出現的通信は、協調的タスクにおける協調性とパフォーマンスの向上をもたらすか？
• RQ2 出現的言語は物理的行動に根ざしており、特定の記号が一貫して特定の行動を指すか？
• RQ3 基礎となるネットワークトポロジーは、出現的通信プロトコルの構造と一貫性にどのように影響するか？
• RQ4 直接的な通信がトポロジーによって制限される状況でも、エージェントは共有で機能する言語を発展させられるか？
• RQ5 構造的コミュニティと一致する通信パターンに明確なコミュニティが検出可能か？

主な発見

• 提案手法は、強力なベースラインと比較して交通管理において最先端のパフォーマンスを達成し、出現的通信の有用性を示している。
• 語彙埋め込みのt-SNE可視化により、特定の行動に対応する明確なクラスタが観察され、出現的言語が行動に根ざしていることが示された。
• 共通の近隣エージェントを持つエージェント同士は、類似した行動埋め込みを示し、同じ行動に同じメッセージを一貫して使用していることが示された。
• tf-idf行列とt-SNEプロットにより、同じ受信者にブロードキャストするエージェントが一貫した通信グループを形成しており、ネットワーク構造が反映されていることが明らかになった。
• より大きなネットワークでは、通信空間に2つの明確なコミュニティが出現し、重複する語彙がコミュニティ間の共通言語的要素を示している。
• 結果から、出現的通信が恣意的ではなく、基礎となるネットワークトポロジーによって形作られ、構造的近接性が言語的一貫性に影響することが確認された。