[論文レビュー] Learning to Communicate with Deep Multi-Agent Reinforcement Learning

Jakob Foerster, Yannis Assael+2 more|arXiv (Cornell University)|May 21, 2016

Adversarial Robustness in Machine Learning参考文献 24被引用数 867

ひとこと要約

本論文では、協調的で部分観測下のエージェント間の通信プロトコルを学習するための2つの手法、RIALとDIALを提案する。中央集権的学習と深層ネットワークを用いる。

ABSTRACT

We consider the problem of multiple agents sensing and acting in environments with the goal of maximising their shared utility. In these environments, agents must learn communication protocols in order to share information that is needed to solve the tasks. By embracing deep neural networks, we are able to demonstrate end-to-end learning of protocols in complex environments inspired by communication riddles and multi-agent computer vision problems with partial observability. We propose two approaches for learning in these domains: Reinforced Inter-Agent Learning (RIAL) and Differentiable Inter-Agent Learning (DIAL). The former uses deep Q-learning, while the latter exploits the fact that, during learning, agents can backpropagate error derivatives through (noisy) communication channels. Hence, this approach uses centralised learning but decentralised execution. Our experiments introduce new environments for studying the learning of communication protocols and present a set of engineering innovations that are essential for success in these domains.

研究の動機と目的

• 部分観測下で共有報酬を最大化するために、複数の協力的エージェントがどのように通信を学習できるかを調査する。
• 深層ニューラルネットワークにおいて通信プロトコルが出現するエンドツーエンド学習アプローチを開発する。
• 通信を可能とするポリシーの訓練のための中央集権学習と分散実行の利点を評価する。

提案手法

• 環境動作と離散的な通信アクションに深層Q学習を用い、再帰的ネットワークを用いることでRIALを提案する。
• 通信チャネルを通じてエージェント間で実数値メッセージを伝達し、中央学習中に逆伝播させ、通信チャネルを介して学習させるDIALを提案する。
• パラメータ共有を使用して中央集権学習を可能にしつつ分散実行を維持する。
• 分散実行時には実数値のメッセージを離散化してタスクの通信制約に適合させる。
• 再帰的ネットワークとエピソードレベルの訓練ダイナミクスを組み込むことで部分観測性に対処する。
• Switch RiddleとMNISTベースのゲームを含む2つのベンチマーク多エージェントタスクで評価する。

実験結果

リサーチクエスチョン

• RQ1 エージェントは部分観測下で協調タスクを解くための効果的な通信プロトコルを学習できるか？
• RQ2 Differentiable inter-agent communication (DIAL) はマルチエージェント設定で独立または非微分可能な手法（RIAL）より学習上の利点を提供するか？
• RQ3 中央集権学習、パラメータ共有、チャネルの離散化は通信の出現にどのように影響するか？
• RQ4 複雑なタスクでどのような出現的通信プロトコルが生まれ、どれくらい解釈可能か？

主な発見

• RIAL と DIAL は提案されたベンチマークタスクを中央集権学習と分散実行で解くことができる。
• DIAL はパラメータ共有を伴い、代替案を上回り、複数のタスクで RIAL よりも速くプロトコルを学習する。
• 微分可能な通信はより豊かなフィードバックを生み出し、非微分可能な方法よりも効果的なメッセージ設計と協調につながる。
• パラメータ共有は、複数エージェントがいる設定で通信を学習するうえで重要である。
• DIAL は学習下で連続的プロトコルから解釈可能な、離散的に似た通信スキームの出現を可能にする。
• チャネルノイズの存在と DRU による正則化は、学習された通信戦略と訓練ダイナミクスに影響を与える。