[論文レビュー] Mastering emergent language: learning to guide in simulated navigation

Mathijs Mul, Diane Bouchacourt+1 more|arXiv (Cornell University)|Aug 14, 2019

Multimodal Machine Learning Applications参考文献 42被引用数 6

ひとこと要約

本論文は、ガイドとリーナーのアーキテクチャを用いて、マルチエージェントナビゲーションタスクにおける発生的言語の学習を可能にするフレームワークを提案している。ガイドは、ベビーアイ（BabyAI）レベルのナビゲーションタスクを解くために、簡潔な2語のメッセージを生成する。本手法は、文脈的に適切なガイダンスを生成するようにガイドを訓練することで、GoToObjMazeで最高98.4%の成功率を達成しており、構造化された環境における効果的なゼロショット一般化と発生的通信の有効性を示している。

ABSTRACT

To cooperate with humans effectively, virtual agents need to be able to understand and execute language instructions. A typical setup to achieve this is with a scripted teacher which guides a virtual agent using language instructions. However, such setup has clear limitations in scalability and, more importantly, it is not interactive. Here, we introduce an autonomous agent that uses discrete communication to interactively guide other agents to navigate and act on a simulated environment. The developed communication protocol is trainable, emergent and requires no additional supervision. The emergent language speeds up learning of new agents, it generalizes across incrementally more difficult tasks and, contrary to most other emergent languages, it is highly interpretable. We demonstrate how the emitted messages correlate with particular actions and observations, and how new agents become less dependent on this guidance as training progresses. By exploiting the correlations identified in our analysis, we manage to successfully address the agents in their own language.

研究の動機と目的

• 構造化されたナビゲーション環境において、エージェントが発生的言語を通じて効果的に通信できるかを調査すること。
• ナビゲーションタスクを解くために短いメッセージを生成するガイドがいる二エージェントフレームワークを構築すること。
• 未知の環境においてゼロショット一般化する発生的通信の有効性を評価すること。
• 環境状態に関連して学習されたガイダンスメッセージの構造と意味的コンテンツを分析すること。

提案手法

• 二段階の訓練プロセスを用いる：まずガイドが環境状態に基づいてメッセージを学習し、次にリーナーがそのメッセージに基づいて行動を学習する。
• ガイドは、観測から2語のメッセージを生成するGRUベースのポリシーを用い、語彙サイズは3とする。
• リーナーは、観測と受信したガイダンスメッセージに基づいて行動を選択するLSTMベースのポリシーを採用する。
• 行動シーケンスの交差エントロピー損失を用いて、教師あり学習によりエンドツーエンドで訓練する。
• ハイパーパrameterには、観測符号化に256 CNNユニット、記憶に2048 LSTMユニット、命令処理に256 GRUユニットを設定する。
• 複数のベビーアイレベル（GoToObj, GoToLocal, GoToObjMaze, PutNextLocal）で実験を行い、訓練データサイズの違いを変化させる。

実験結果

リサーチクエスチョン

• RQ1 ガイドエージェントは、複雑なナビゲーションタスクを解くために効果的で簡潔なガイダンスメッセージを生成できるか？
• RQ2 発生的通信は、未確認の環境やテスト時の分布にどの程度一般化できるか？
• RQ3 異なる環境状態において、学習されたガイダンスメッセージの構造と意味的内容はいかなるものか？
• RQ4 メッセージ長やガイダンス戦略の違いが、リーナーの性能にどのように影響するか？

主な発見

• GoToObjでは、特定のメッセージ（例：'w0 w0'）を発行した後、ガイドはほぼ完璧な行動選択確率（確率 ≈ 1.0）を達成しており、メッセージと行動の整合性が強いことが示された。
• GoToObjMazeレベルでは、リーナーが98.4%の成功率を達成し、未確認の迷路に対しても効果的なゼロショット一般化が実現した。
• PutNextLocalでは、ガイドのメッセージが環境状態に応じて生成され、高い行動選択確率が得られた。ヒストグラムでは、明確なメッセージ-行動依存関係が確認された。
• 複数のレベルにわたる性能は安定しており、十分なデータで学習した場合、GoToLocalとGoToObjMazeで90%を超える成功率を達成した。
• 図A.1～A.3の条件付き分布から、ガイドが意味的に意味のある、文脈的に適切なメッセージを学習していることが確認された。
• 最小限の教師信号のみを用いても、2語のメッセージで十分に効果的な発生的通信が学習可能であり、多様なナビゲーション課題において高いタスク成功率が達成された。