[論文レビュー] Grounded Language Learning in a Simulated 3D World

Karl Moritz Hermann, Felix Hill+12 more|arXiv (Cornell University)|Jun 20, 2017

Natural Language Processing Techniques参考文献 27被引用数 153

ひとこと要約

この論文は、強化学習と無教師補助目的を組み合わせることで、3D のシミュレート世界で自然言語を grounding するエージェントを学習させ、ゼロショットの理解と新規指示への一般化を可能にする。視覚知覚、言語処理、行動方策をエンドツーエンドで統合し、カリキュラム対応のマルチタスク学習と意味的ブートストラッピングを実証する。

ABSTRACT

We are increasingly surrounded by artificially intelligent technology that takes decisions and executes actions on our behalf. This creates a pressing need for general means to communicate with, instruct and guide artificial agents, with human language the most compelling means for such communication. To achieve this in a scalable fashion, agents must be able to relate language to the world and to actions; that is, their understanding of language must be grounded and embodied. However, learning grounded language is a notoriously challenging problem in artificial intelligence research. Here we present an agent that learns to interpret language in a simulated 3D environment where it is rewarded for the successful execution of written instructions. Trained via a combination of reinforcement and unsupervised learning, and beginning with minimal prior knowledge, the agent learns to relate linguistic symbols to emergent perceptual representations of its physical surroundings and to pertinent sequences of actions. The agent's comprehension of language extends beyond its prior experience, enabling it to apply familiar language to unfamiliar situations and to interpret entirely novel instructions. Moreover, the speed with which this agent learns new words increases as its semantic knowledge grows. This facility for generalising and bootstrapping semantic knowledge indicates the potential of the present approach for reconciling ambiguous natural language with the complexity of the physical world.

研究の動機と目的

• 連続的で具現化された環境における拡張可能な人間–AI 連携の手段として、言語 grounding 学習を動機づける。
• ピクセルレベルの入力を用いて、言語表現を知覚表現と行動へ対応づけるエンドツーエンドのエージェントを開発する。
• 強化学習と無監督の補助タスクを組み合わせると、学習が加速し、新規命令への一般化が可能になることを示す。
• カリキュラム学習とマルチタスク学習を実証し、タスクや環境を跨いだ意味知識の習得と転移を行う。

提案手法

• 視覚エンコーダ (V)、言語エンコーダ (L)、混合モジュール (M)、および行動/方策モジュール (A) の4つの相互接続されたニューラルモジュールから成るエージェント。
• 学習は非同期32スレッドを用いる Advantage Actor-Critic と RMSProp 最適化を使用。
• 補助的無監督目的には、次の視覚入力を予測する時系列自己符号化 (tAE) と、観測から命令語を予測する言語予測 (LP) タスクを含む。
• 追加の補助タスクとして、報酬予測 (RP) および価値再生 (VR) を実験的に導入し、強化学習を安定化させる。
• 報酬からの学習は、表現学習とポリシー最適化を形作るための世界についての予測で補完される。

実験結果

リサーチクエスチョン

• RQ1 エージェントは、連続的な3D環境の生のピクセル入力から、言語表現の grounding された意味を学習できるか？
• RQ2 強化学習と無監督の補助目的を組み合わせると、効率的な語彙学習と新規命令への一般化が可能になるか？
• RQ3 未知の語句を解釈し、語彙概念を分解・構成して、難しいフレーズを解釈し、関係的言語を新しい物体へ拡張できるか？
• RQ4 カリキュラム学習は、タスク間での行動と関係に結びついた言語のマルチタスク grounding を可能にするか？

主な発見

• 強化学習のみではほとんど学習が進まない；補助目的 (tAE, LP, RP, VR) によって語彙習得が大幅に促進される。
• エージェントが事前の語彙知識を持つ場合、語学習得の速度は向上し、意味知識のブートストラップが新語の獲得を加速することを示す。
• エージェントは、未知の語や新しい組み合わせに対して、既知の概念の分解と生産的な組み合わせを通じて一般化する。
• カリキュラム学習は、より複雑な参照表現の解決とマルチタスク言語 grounding を可能にする。
• 1つのエージェントが2段階のカリキュラムを通じて複数のタスク（Selection, Next to, In room）を学習できることを示し、言語 grounding ポリシーの大規模環境への転移を示す。