[論文レビュー] Learning Multiagent Communication with Backpropagation

Sainbayar Sukhbaatar, Arthur Szlam+1 more|arXiv (Cornell University)|May 25, 2016

Reinforcement Learning in Robotics参考文献 37被引用数 276

ひとこと要約

CommNetは協調エージェント間の連続的で微分可能な通信を可能にし、バックプロパゲーションでエンドツーエンドに学習され、部分観測可能なマルチエージェントタスクの性能を向上させる。

ABSTRACT

Many tasks in AI require the collaboration of multiple agents. Typically, the communication protocol between agents is manually specified and not altered during training. In this paper we explore a simple neural model, called CommNet, that uses continuous communication for fully cooperative tasks. The model consists of multiple agents and the communication between them is learned alongside their policy. We apply this model to a diverse set of tasks, demonstrating the ability of the agents to learn to communicate amongst themselves, yielding improved performance over non-communicative agents and baselines. In some cases, it is possible to interpret the language devised by the agents, revealing simple but effective strategies for solving the task at hand.

研究の動機と目的

• 通信が事前に指定されるのではなく学習される協調的マルチエージェントタスクを動機づけ、可能にする。
• 連続的な通信をエージェントの方策とともに学習する単純なニューラルモデル（CommNet）を導入する。
• 部分観測性と動的なエージェント数を伴う多様なタスクでアプローチを実証する。
• 特定のタスクで学習された通信パターンの解釈性を示す。

提案手法

• 各エージェントが自分の状態とブロードキャストされた連続的な通信ベクトルを受け取る共有ニューラルモジュールを実行するCommNetを提案する。
• 各ステップでエージェントの隠れ状態を更新し、正規化された和によって他のエージェントの状態を集約してc^i_jを形成する複数の通信ステップ（K）を定義する伝播スキームを定義する。
• 局所的な結合、スキップ接続、時間的一様性（RNN/LSTM）などの特殊ケースを形式化する。
• 監督が利用可能な場合にはエンドツーエンドでバックプロパゲーションを用いて学習する。そうでない場合は、ポリシー勾配とベースラインを必要に応じて用いた強化学習を用いる。
• 比較のためのベースラインを提供する：独立コントローラ、全結合ネットワーク、および離散通信法。
• モデルをレバー引きゲーム、MazeBaseベースの交通交差点と戦闘シナリオ、そしてbAbI QAタスクに適用し、汎用性を検証する。

実験結果

リサーチクエスチョン

• RQ1 部分観測下で協調を向上させる通信プロトコルをエージェントが共同で学習できるか。
• RQ2 連続的で微分可能な通信は非通信的または離散的に通信するベースラインよりも良い性能を示すか。
• RQ3 動的なエージェント数や可視性の変動に対して通信機構はどのようにスケールするか。
• RQ4 学習された通信に現れる解釈可能な構造やパターンは何か。
• RQ5 CommNetは交通、戦闘、QAといった多様なマルチエージェントタスクで強力なベースラインと比べてどのように性能するか。

主な発見

Training method	Model Φ	Supervised	Reinforcement
Independent	Independent	0.59	0.59
CommNet	CommNet	0.99	0.94

• CommNetは部分的な可視性を伴うタスクで独立したコントローラおよび全結合ベースラインを上回る。
• レバー引きタスクでは、CommNetは監督下でほぼ完璧な性能を達成し、強い学習では高い性能を示す。
• 交通交差点の実験では、CommNetはMLP、RNN、LSTMモジュールを通じて故障率を大幅に削減し、局所結合が難しいバリアントで最も良い性能を示す。
• 戦闘タスクでは、エージェントチームの規模と可視性が変化しても勝利率を一貫して改善し、LSTMモジュールがしばしば最良。
• bAbI QAタスクでは、Meanエラーを独立したMLPベースラインと比較して低減させるが、長いストーリー推論に特化したMemN2Nには及ばない。
• 分析結果は、学習された通信がまばらだが意味があり、タスク関連イベントに対応する明確な通信クラスタが現れることを示している。