[論文レビュー] A Paradigm for Situated and Goal-Driven Language Learning

Jon Gauthier, Igor Mordatch|arXiv (Cornell University)|Oct 12, 2016

Speech and dialogue systems参考文献 16被引用数 21

ひとこと要約

本論文は、言語理解を言語的タスクそのものではなく、目的を達成するための道具として扱う、状況的で目的志向の言語学習パラダイムを提案する。エージェントは、物理的または仮想の環境で現実のタスクに協働することで言語を学び、強化学習を用いたマルチエージェント設定で、言語を生産的に使用できるように訓練する。言語的指標よりも現実世界での成功を重視する。

ABSTRACT

A distinguishing property of human intelligence is the ability to flexibly use language in order to communicate complex ideas with other humans in a variety of contexts. Research in natural language dialogue should focus on designing communicative agents which can integrate themselves into these contexts and productively collaborate with humans. In this abstract, we propose a general situated language learning paradigm which is designed to bring about robust language agents able to cooperate productively with humans.

研究の動機と目的

• 言語理解のベンチマークを、孤立した言語的タスクから現実世界での目的達成にシフトさせる。
• 静的で言語中心のデータセットの限界を克服し、現実のタスクを伴う物理的または仮想の環境に言語学習を根ざさせる。
• 言語を目的そのものではなく、協働のための道具として扱う学習フレームワークを設計する。強化学習とマルチエージェント相互作用を用いる。
• テキストのみまたは劣化した環境表現の欠点を克服し、豊富な視覚的および物理シミュレート環境を用いる。
• 状況的でタスクベースの学習を通じて、人間とAIの協働に効果的に対応できる、頑健で一般化可能な言語エージェントの開発を促進する。

提案手法

• エージェントは、異なる目的、感覚入力、行動能力を持つマルチエージェント環境を使用する。一部のエージェントは固定された言語（例：英語、またはプログラミング言語）を使用する。
• エージェントは強化学習により学習し、言語的正確性ではなくタスクの成功を最適化する。通信は目的を達成するための手段である。
• 環境は物理的またはシミュレートされた世界に根ざしており、物理学的要因と視覚的認識を備え、テキストベースの環境記述への依存を最小限に抑える。
• 言語使用の評価はタスクの成果に基づく。言語の流暢さや文法ではなく、通信を通じて目的を達成できたかどうか。
• 本パラダイムは、人間を含む訓練（human-in-the-loop）と完全にシミュレートされたエージェントの両方をサポートする。固定言語エージェントが学習エージェントを、協働タスクにおいて指導する。
• 言語行動を包括的な認知的・知覚的プロセス（物理的予測、社会的推論、信念モデリングなど）に統合することで、言語を実体化（reify）しない。

実験結果

リサーチクエスチョン

• RQ1 言語理解を言語的熟達としてではなく、現実世界のタスク達成のための道具として再定義するにはどうすればよいか？
• RQ2 エージェントが目的志向のタスクにおいて協働することで、効果的に言語を学ぶために必要な環境的・訓練的条件は何か？
• RQ3 視覚的・物理的にシミュレートされた環境に言語を根ざさせることで、テキストのみまたは抽象的インターフェースと比較して、学習がどのように向上するか？
• RQ4 マルチエージェント環境における強化学習は、複雑で動的な環境で言語を生産的に使用するエージェントをどれほど効果的に生成できるか？
• RQ5 スケーラブルで汎用的な言語学習環境を設計するための主要な設計原則は何か？この環境は、言語習得とより広範な知能の両方を支援する。

主な発見

• パラダイムは、言語的指標から現実世界のタスク遂行に焦点を移すことに成功し、言語理解を協働の結果として機能的に得るものとした。
• この環境で訓練されたエージェントは、他のエージェントとの通信を通じて、環境内を移動したり物体を操作したりする目的を効果的に達成する言語を使用するよう学習する。
• 視覚的および物理的環境に根ざすことで、テキスト記述が省略する可能性のある環境の重要な側面（例：ゆるいテーブル）をエージェントが認識でき、意思決定が向上する。
• 固定言語エージェントをコミュニケーションのパートナーとして用いることで、学習エージェントは文脈的な機能的言語使用を観察・模倣することで言語を習得できる。
• フレームワークは、明示的な言語的監視を必要とせず、タスクベースの報酬信号に依存することで、言語エージェントのスケーラブルでエンドツーエンドの訓練を可能にする。
• 言語学習が、物理的および社会的推論を含む包括的な認知的・知覚的システムに埋め込まれている場合に、最も効果的に機能することが示された。