[論文レビュー] A Deep Compositional Framework for Human-like Language Acquisition in Virtual Environment

Haonan Yu, Haichao Zhang+1 more|arXiv (Cornell University)|Mar 28, 2017

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本論文は、エンド・トゥ・エンド学習を通じて視覚的知覚に言語を根拠づけ、未学習の語の組み合わせや新しいオブジェクト概念に対してもゼロショット一般化を可能にする、深層的で構成的なフレームワークを提案する。2次元の仮想環境（xworld）において、人間のような言語習得を実現する。このフレームワークは、アーキテクチャのモularity、パラメータの共有、視覚言語行動統合における構成的推論を活用することで、すべてのゼロショットナビゲーション条件下で約90％の成功率を達成する。

ABSTRACT

We tackle a task where an agent learns to navigate in a 2D maze-like environment called XWORLD. In each session, the agent perceives a sequence of raw-pixel frames, a natural language command issued by a teacher, and a set of rewards. The agent learns the teacher's language from scratch in a grounded and compositional manner, such that after training it is able to correctly execute zero-shot commands: 1) the combination of words in the command never appeared before, and/or 2) the command contains new object concepts that are learned from another task but never learned from navigation. Our deep framework for the agent is trained end to end: it learns simultaneously the visual representations of the environment, the syntax and semantics of the language, and the action module that outputs actions. The zero-shot learning capability of our framework results from its compositionality and modularity with parameter tying. We visualize the intermediate outputs of the framework, demonstrating that the agent truly understands how to solve the problem. We believe that our results provide some preliminary insights on how to train an agent with similar abilities in a 3D environment.

研究の動機と目的

• 仮想環境における視覚、言語、ナビゲーションのエンド・トゥ・エンド学習のフレームワークを開発すること。人間のような言語習得を模倣する。
• 以前のタスクから学習した未確認の語の組み合わせや新しいオブジェクト概念を含む、ナビゲーションにおけるゼロショット一般化を可能にすること。
• 構成的でモジュラーな深層学習アーキテクチャを通じて、言語意味論を視覚的知覚に根拠づけること。
• ネットワークアーキテクチャにおける構成性とパラメータの共有が、再訓練なしに堅牢なゼロショット転送を可能にすることを示すこと。
• 3次元環境におけるエージェントの訓練を通じて、人間水準の言語理解を実現する基盤を提供すること。

提案手法

• エージェントは、2次元の迷路のようなxworld環境において、生のピクセルフレーム、自然言語命令、スパarsな報酬を用いて勾配降下法によりエンド・トゥ・エンドで訓練される。
• 認識モジュールは、障害物とゴールを事前知識として用いる構造的な環境マップを生成する。
• プログラマーRNNは、言語命令に基づいて、Find、Transform、CombineOrなどの操作を組み合わせて実行可能なプログラムを生成する。
• アテンション機構は、命令内の語に対応する関連する視覚領域を動的に強調表示する。空間的アテンションは2次元畳み込みフィルタとしてモデル化される。
• モジュール間でパラメータの共有を活用することで、構成的一般化を強制し、新しい組み合わせにわたって学習済み表現を再利用可能にする。
• アクションモジュールは現在の状態を行動にマッピングするが、現在は記憶機能やルート計画能力を欠いている。

実験結果

リサーチクエスチョン

• RQ1 エージェントは、事前解析済みの言語や環境リンクがなく、生のピクセルと報酬からのみ、自然言語ナビゲーション命令を解釈・実行できるか？
• RQ2 以前に見たことのない語の組み合わせや、過去のタスクで学習した新しいオブジェクト概念を含むゼロショット命令に対して、どの程度一般化できるか？
• RQ3 アーキテクチャの構成性とパラメータの共有は、視覚言語報酬に基づく学習におけるゼロショット一般化にどのように寄与するか？
• RQ4 モularityと中間の可視化は、エージェントの言語と環境に対する真の理解を検証するために果たす役割は何か？
• RQ5 このフレームワークは、より複雑な視覚的・空間的推論を要する3次元環境へ拡張可能か？

主な発見

• フレームワークは、未学習の語の組み合わせや新しいオブジェクト概念を含む、すべてのゼロショットナビゲーション条件下で平均して約90％の成功率を達成する。
• エージェントは、以前に別々に学習した語（例：「between」とオブジェクト名）の組み合わせである「appleとcoconutの間へ行く」のような、一度も見なかった命令に対しても効果的に一般化する。
• 画像・言語統合埋め込みを学習するベースラインモデルは、特にゼロショットタスクにおいて顕著に劣っており、構成的アーキテクチャの優位性が浮き彫りになる。
• アテンションマップと環境表現の可視化により、エージェントが言語を視覚的知覚に高精度で根拠づけていることが確認されるが、2つのオブジェクトの間を移動するような複雑な空間関係ではわずかな欠陊が見られる。
• 完全な（100％）成功率から差を生じさせている主な要因は、記憶機能や計画機能を欠いたアクションモジュールに起因しており、長距離の壁に沿ったナビゲーションでループ行動が生じる。
• フレームワークは、モularityとパラメータの共有が、再訓練なしにタスク間での知識移転を可能にすることを示している。例えば、オブジェクト認識の知識をナビゲーションに応用可能である。