[論文レビュー] Interactive Grounded Language Acquisition and Generalization in a 2D World

Haonan Yu, Haichao Zhang+1 more|arXiv (Cornell University)|Jan 30, 2018

Multimodal Machine Learning Applications被引用数 39

ひとこと要約

本論文は、2次元の仮想環境において、共同ナビゲーションと質疑応答のタスクを通じて、新しい文を解釈できるインタラクティブで文脈に根ざした言語習得モデルを提案する。言語の意味づけと下流の計算を分離し、予測と意味づけの両モジュールで共通の概念検出関数を共有することで、エージェントは強力なゼロショット一般化を達成する——新規な語の組み合わせ（ZS1）と、答えから転送されたまったく新しい語（ZS2）の両方を処理できる。新規の物体語の頻度が学習済み語の9倍に達しても、ナビゲーションでは60%の成功率、質問応答では83%の正答率を達成する。

ABSTRACT

We build a virtual agent for learning language in a 2D maze-like world. The agent sees images of the surrounding environment, listens to a virtual teacher, and takes actions to receive rewards. It interactively learns the teacher's language from scratch based on two language use cases: sentence-directed navigation and question answering. It learns simultaneously the visual representations of the world, the language, and the action control. By disentangling language grounding from other computational routines and sharing a concept detection function between language grounding and prediction, the agent reliably interpolates and extrapolates to interpret sentences that contain new word combinations or new words missing from training sentences. The new words are transferred from the answers of language prediction. Such a language ability is trained and evaluated on a population of over 1.6 million distinct sentences consisting of 119 object words, 8 color words, 9 spatial-relation words, and 50 grammatical words. The proposed model significantly outperforms five comparison methods for interpreting zero-shot sentences. In addition, we demonstrate human-interpretable intermediate outputs of the model in the appendix.

研究の動機と目的

• 視覚的および言語的入力からのリアルタイムフィードバックを用いて、動的な2次元環境でインタラクティブで文脈に根ざした言語習得を可能にする。
• 特に、未学習の語の組み合わせ（ZS1）とまったく新しい語（ZS2）に対するゼロショット一般化の課題に取り組む。
• 言語の意味づけを下流の計算から分離することで、学習された語の意味の解釈可能性と移譲性を向上させる。
• 再トレーニングなしに、言語予測（例：単語1つで答える）から得た語の意味を、言語の意味づけ（例：ナビゲーション命令）に移譲する。
• 推論時に極度のデータスパarsityが生じる状況、特に未学習語彙の割合が高い状況におけるモデルの頑健性を評価する。

提案手法

• エージェントは、ナビゲーション（NAV）を言語命令に従って行い、言語理解と予測をテストする質問応答（QA）の2つのタスクを同時に実行する2次元の迷路的環境（xworld）で動作する。
• 言語の意味づけは、文に依存するチャネルマスクと視覚的特徴に依存する空間的アテンションマップから構成されるアテンションキューブを介して明示的にモデル化され、視覚的・言語的アライメントを分離可能にする。
• 予測モジュールと意味づけモジュールの両方で共通の概念検出関数を用いることで、QAの過程で学習した語の意味がテスト時にNAVに移譲可能になる。
• 単語埋め込みと視覚的特徴キューブから導かれるスコアマップの系列を用いてアテンションを計算し、2次元畳み込みを用いて空間的変換を2次元空間的推論にモデル化する。
• エージェントは強化学習を用いてエンドツーエンドで学習し、正しい行動や回答に対して報酬を得る。部分観測性を扱うためにメモリ機構を用いる。
• アーキテクチャは、意味づけをタスク固有の計算から分離することで一般化を支援し、予測からの移譲により新語への外挿が可能になるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 言語エージェントは、文脈に根ざしたインタラクティブな学習環境において、新しい語の組み合わせ（ZS1）を含む文に対して頑健なゼロショット一般化を達成できるか？
• RQ2 訓練時に見なかったまったく新しい語（ZS2）を含む文に対しても、エージェントは一般化できるか。特に、これらの語が言語予測（例：答え）から学習された場合に有効か？
• RQ3 予測と意味づけの両モジュールで共通の概念検出関数を共有することで、語の意味がタスク間で効果的に移譲可能になるか？
• RQ4 未学習の物体語の数が学習済み語の9倍に達するような極度のデータスパarsity下で、モデルの性能はどの程度低下するか？
• RQ5 モデルの明示的な意味づけ機構は3次元環境へ一般化可能か。その場合、どのようなアーキテクチャ的変更が必要か？

主な発見

• 新規の物体語の数が命令文内の学習済み語の9倍に達しても、ゼロショットナビゲーション（ZS1およびZS2）で60%の成功率を達成する。
• 同じ極度のデータスパarsity下で、ゼロショット質問応答の正答率は83%に達し、未学習語彙への強い一般化を示す。
• 学習データの90%がホールドアウトされる状況（X=90.0）でも高い性能を維持する。5つのベースラインとは対照的に、12.5%ホールドアウトデータ下でナビゲーション成功率が最大80%低下するが、本モデルは顕著に優れた性能を発揮する。
• ZS2において、QAの一般化性能がNAVより優れている。これは、この設定下で言語予測は、文脈に根ざした行動制御よりも本質的に容易であることを示唆する。
• 本モデルはデータスパarsityに対して非常に頑健であり、極端なテスト時のデータシフト下でも性能低下が最小限に抑えられる。一方、CA や SAN といったベースラインは急激な性能低下を示す。
• 分析の結果、ベースラインのCAは特定の命令タイプ（例：nav_bw_obj）において、意味的理解ではなく視覚的パターンを狙った学習をしていることが判明し、明示的な意味づけがショートカット学習を回避するために重要であることが示された。