[論文レビュー] Learning to Communicate to Solve Riddles with Deep Distributed Recurrent Q-Networks

Jakob Foerster, Yannis Assael+2 more|arXiv (Cornell University)|Feb 8, 2016

Reinforcement Learning in Robotics参考文献 43被引用数 85

ひとこと要約

本論文は、部分的に観測可能な協調タスクを解くためにエージェントが自律的かつ通信プロトコルを学習できる、マルチエージェント強化学習フレームワークであるDeep Distributed Recurrent Q-Networks（DDRQN）を紹介する。2つのなぞなぞベースの環境（帽子のなぞなぞとスイッチのなぞなぞ）において、DDRQNは効果的な通信戦略を効果的に発見し、通信プロトコルを完全にゼロから学習する最初の成功した深層強化学習アプローチを実現した。

ABSTRACT

We propose deep distributed recurrent Q-networks (DDRQN), which enable teams of agents to learn to solve communication-based coordination tasks. In these tasks, the agents are not given any pre-designed communication protocol. Therefore, in order to successfully communicate, they must first automatically develop and agree upon their own communication protocol. We present empirical results on two multi-agent learning problems based on well-known riddles, demonstrating that DDRQN can successfully solve such tasks and discover elegant communication protocols to do so. To our knowledge, this is the first time deep reinforcement learning has succeeded in learning communication protocols. In addition, we present ablation experiments that confirm that each of the main components of the DDRQN architecture are critical to its success.

研究の動機と目的

• 事前に定義された通信プロトコルが存在しない部分的に観測可能な環境におけるマルチエージェント強化学習の課題に対処すること。
• エージェントが協調的方策と出現する通信戦略を学習できるスケーラブルなディープラーニングアーキテクチャを構築すること。
• エンドツーエンドの深層強化学習が、複雑な協調タスクにおいて効果的で人間が解釈可能な通信プロトコルを発見できることを示すこと。
• マルチエージェントで部分的に観測可能な設定において、重要なアーキテクチャ的要素の必要性と影響を調査すること。
• よく知られたなぞなぞをテストベッドとして用いて、通信に基づく協調の評価のベンチマークを提供すること。

提案手法

• 再帰ニューラルネットワーク（LSTM）と共有でエージェント固有の重みを組み合わせた、記憶と履歴をモデル化する深層強化学習アーキテクチャであるDDRQNを提案する。
• エージェント自身の行動-観測履歴を近似するための最終行動入力を導入し、より良いシーケンスモデリングを可能にする。
• エージェント固有の条件付け（固有のIDを用いて）によるエージェント間の重み共有を実装し、エージェント間で高速かつ汎用的な学習を可能にする。
• 複数のエージェントが同時に学習することで生じる非定常性の問題を回避するため、経験再生を無効化する。
• 各エージェントが自らの観測と行動に基づいて個別のQ関数を学習する独立Q学習を用いてエージェントを訓練する。
• 目標Q値と予測Q値の時系列差分誤差を最小化する損失関数を用い、安定性を高めるためにターゲットネットワークを導入する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、事前に定義された通信ルールが一切ないマルチエージェントで部分的に観測可能な環境において、効果的な通信プロトコルを学習できるか？
• RQ2 このような環境で、成功した通信と協調を可能にするために、どのようなアーキテクチャ的要素が不可欠か？
• RQ3 経験再生を無効化することで、マルチエージェントで非定常な環境における学習の安定性とパフォーマンスにどのような影響が生じるか？
• RQ4 エージェント固有の条件付けを施した共有で再帰的なネットワークは、エージェント間で一般化と高速学習をどの程度可能にするか？
• RQ5 DDRQNが発見した出現する通信プロトコルは、複雑な協調タスクにおいて、効果的かつ解釈可能であると言えるか？

主な発見

• DDRQNは、帽子のなぞなぞとスイッチのなぞなぞの両方を高い成功確率で解き、n=4までのエージェント数においてスイッチのなぞなぞでほぼ完璧なパフォーマンスを達成した。
• エージェント間の重み共有が最も重要な要素である。これがないと、n=3ですらタスクを学習できない。
• 最終行動入力はパフォーマンスを顕著に向上させる。これを削除すると、単純な「最終日には明かす」戦略と同等の成功確率にまで低下する。
• 経験再生を無効化することは必須である。再生を有効にした場合、最適なパフォーマンスに到達しないことが示され、再生はマルチエージェント学習の非定常性に不適切であることが判明した。
• アブレーションスタディにより、3つのコア要素（最終行動入力、重み共有、経験再生の無効化）が効果的な学習に不可欠であることが確認された。
• DDRQNは、人間のなぞなぞの解法と整合する解釈可能な、洗練された通信プロトコルを発見し、教師なしの状態で出現的協調が実現されることを示した。