[論文レビュー] Systematic Generalization on gSCAN with Language Conditioned Embedding

Tong Gao, Qi Huang+1 more|arXiv (Cornell University)|Sep 11, 2020

Multimodal Machine Learning Applications参考文献 22被引用数 4

ひとこと要約

本論文は、文脈的な言語理解における体系的汎化のための文脈に依存するオブジェクト埋め込みを学習するため、言語に依存するメッセージスティング機構を提案する。入力自然言語に基づいてオブジェクト間の関係的情報を動的に集約することで、gSCANにおいて最先端の性能を達成し、特に未知の動作-属性の組み合わせを含むテストスプリットにおいて、先行手法を顕著に上回る。

ABSTRACT

Systematic Generalization refers to a learning algorithm's ability to extrapolate learned behavior to unseen situations that are distinct but semantically similar to its training data. As shown in recent work, state-of-the-art deep learning models fail dramatically even on tasks for which they are designed when the test set is systematically different from the training data. We hypothesize that explicitly modeling the relations between objects in their contexts while learning their representations will help achieve systematic generalization. Therefore, we propose a novel method that learns objects' contextualized embeddings with dynamic message passing conditioned on the input natural language and end-to-end trainable with other downstream deep learning modules. To our knowledge, this model is the first one that significantly outperforms the provided baseline and reaches state-of-the-art performance on grounded-SCAN (gSCAN), a grounded natural language navigation dataset designed to require systematic generalization in its test splits.

研究の動機と目的

• ディープラーニングモデルが体系的汎化に失敗する問題、特に未知の概念の組み合わせの組み合わせを要するタスクにおいて、その問題を解決すること。
• 文脈におけるオブジェクト間の関係を明示的にモデル化することで、自然言語入力に根ざしたオブジェクト表現学習を改善すること。
• 視覚言語ナビゲーションタスクにおける未観測の意味的組み合わせへのゼロショット汎化を強化する、エンドツーエンドで学習可能なアーキテクチャを開発すること。
• gSCANを評価対象とし、テストセットにおける体系的分布シフトを用いて体系的汎化をテストするベンチマークとしての設計を反映すること。

提案手法

• グリッドワールド内のすべてのオブジェクトペア間で動的メッセージスティングを用いて関係的情報を集約する。
• メッセージスティングの重みは入力自然言語文に依存しており、文脈に適応したオブジェクト特徴の集約を可能にする。
• 各オブジェクトの文脈に依存する埋め込みは、他のすべてのオブジェクトからのメッセージの重み付き和として計算され、重みは入力文によって決定される。
• ナビゲーション用の下流のアクションシーケンスデコーダーと統合されたエンドツーエンド学習パイプラインに本手法を統合する。
• エージェントとすべてのオブジェクトをメッセージスティンググラフ内の同種のノードとして扱い、メッセージスティング中にエッジタイプに差異を設けない。
• アブレーションスタディでは、言語に依存するメッセージスティングの貢献度を評価するため、これを除去して性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 言語に依存するメッセージスティングは、視覚言語ナビゲーションタスクにおける体系的汎化を改善できるか？
• RQ2 関係構造と入力言語に基づく文脈に依存するオブジェクト埋め込みの学習は、未知の動作-属性ペアのゼロショット組み合わせを改善できるか？
• RQ3 gSCANにおいて、本手法は強力なベースラインと比較してどうなるか？特に体系的汎化をテストするように設計されたテストスプリットにおいて。
• RQ4 他のスプリットで改善が見られる一方で、スプリットBではなぜモデルが失敗するのか？

主な発見

• 提案手法はgSCANで最先端の性能を達成し、スプリットG（93.02％の正確一致）とスプリットE（99.08％）を含む複数のテストスプリットでベースラインを顕著に上回る。
• アブレーションスタディにより、言語に依存するメッセージスティングが大多数のスプリットで性能向上をもたらすことが確認されたが、スプリットFではわずかに性能が低下しており、副詞の意味の学習と動作の意味の学習の間でトレードオフが生じている可能性を示唆している。
• スプリットBでの失敗は、エージェントの状態変化をモデル化しないで行動を盲目に生成するため、新しい方向への行動シーケンスの汎化ができないことによるものとされる。
• モデルはアテンションにより正しくターゲット位置を特定しているが、有効な経路を生成できないため、ナビゲーション中に動的状態モデル化が欠落していると示唆される。
• 結果から、現在のモデルは視点の取り替えや状態遷移のモデル化にまだ課題を抱えており、とくに不慣れな方向を含む動作が関与する際には顕著である。
• 著者らは、環境ダイナミクスやエージェント-環境相互作用をよりよく捉えるために、モデルベース強化学習またはタイプ別メッセージスティングの導入の必要性を指摘している。