[論文レビュー] Think before you act: A simple baseline for compositional generalization

Christina Heinze‐Deml, Diane Bouchacourt|arXiv (Cornell University)|Sep 29, 2020

Rough Sets and Fuzzy Logic参考文献 18被引用数 9

ひとこと要約

本稿では、視覚言語ナビゲーションにおける構成的汎化を向上させるために、ターゲットオブジェクトの特定を行動実行から分離する単純な「行動する前に考えること」のアプローチを提案する。行動を生成する前にターゲットオブジェクトを予測する補助損失を導入することで、2つのgSCANスプリット（イエローサーキュラーとレッドサーキュラー）で最先端の性能を達成した。これは、ターゲットについての明示的な推論が汎化を改善することを示しているが、相対性に基づくタスクについては依然として課題が残っている。

ABSTRACT

Contrarily to humans who have the ability to recombine familiar expressions to create novel ones, modern neural networks struggle to do so. This has been emphasized recently with the introduction of the benchmark dataset "gSCAN" (Ruis et al. 2020), aiming to evaluate models' performance at compositional generalization in grounded language understanding. In this work, we challenge the gSCAN benchmark by proposing a simple model that achieves surprisingly good performance on two of the gSCAN test splits. Our model is based on the observation that, to succeed on gSCAN tasks, the agent must (i) identify the target object (think) before (ii) navigating to it successfully (act). Concretely, we propose an attention-inspired modification of the baseline model from (Ruis et al. 2020), together with an auxiliary loss, that takes into account the sequential nature of steps (i) and (ii). While two compositional tasks are trivially solved with our approach, we also find that the other tasks remain unsolved, validating the relevance of gSCAN as a benchmark for evaluating models' compositional abilities.

研究の動機と目的

• モデルが新しい方法で既知の言語的および視覚的要素を再結合できないという、視覚言語モデルにおける構成的汎化の課題に対処すること。
• 行動する前にターゲットオブジェクトを特定する「考える段階」を明示的にモデル化することで、文脈に即した言語理解ベンチマークにおける汎化が向上するかどうかを調査すること。
• 順序付き系列モデルに簡単でモジュラーな修正を加え、補助的ターゲット予測ヘッドを導入することで順序的な推論を実現する手法の有効性を評価すること。
• このアプローチが、単純な属性の組み合わせを越えて、相対的サイズ認識（例：「大きな円のなかの小さな円」）のようなより複雑な関係的推論に対しても汎化可能かどうかを検証すること。

提案手法

• Ruisら（2020）のベースラインseq2seqモデルを変更し、2段階のプロセスを導入する：まずターゲットオブジェクトの位置を予測し、その後でナビゲーション行動を生成する。
• 同じ視覚的および言語的入力を用いて、グリッドワールドにおけるターゲットオブジェクトの位置を予測する補助損失を導入する。
• アテンションメカニズムを用いて、ターゲット予測ヘッドが関連する視覚的特徴および言語トークンに注目できるようにし、行動生成の前に構造的な推論を可能にする。
• 行動生成のための標準的な系列系列損失と、ターゲット局在化のための補助損失を組み合わせた、エンドツーエンドの訓練を行う。
• ターゲット予測ヘッドからのlog-softmaxスコアを用いて、視覚的特徴表現（H_s）を重み付けし、行動デコード中に関連する世界状態への注目を強化する。
• アブレーションのバリエーションを評価し、ターゲット予測スコアによる世界エンコーディングの重み付けを削除することで、「行動する前に考えること」のメカニズムが果たす貢献を明確にする。

実験結果

リサーチクエスチョン

• RQ1 「行動する前に考えること」の順序を強制する簡単でモジュラーな修正が、文脈に即した言語理解における構成的汎化を向上させるか？
• RQ2 ターゲットオブジェクト予測の補助的トレーニングが、gSCANテストスプリットにおけるゼロショット汎化において測定可能な向上をもたらすか？
• RQ3 本手法は、既知の属性の新しい組み合わせ（例：新しい色やサイズの参照）を必要とするタスクにおいて、ベースラインモデルと比較してどの程度性能を向上させるか？
• RQ4 「行動する前に考えること」のアプローチは、相対的サイズ認識（例：「大きな円のなかの小さな円」）のような関係的推論タスクにも汎化可能か？
• RQ5 補助的ターゲット予測ヘッドは、デコードの問題に起因する誤差伝搬を軽減するのか、それとも性能の差は根本的な推論の失敗に起因するのか？

主な発見

• 補助損失を導入した本手法（'Baseline w/ aux'）は、イエローサーキュラー（B）およびレッドサーキュラー（C）スプリットにおいて、ベースラインと比較して顕著に高い平均性能と低い分散を達成した。
• イエローサーキュラースプリットでは、ターゲット予測の正確性がほぼ完璧に近く、エクサクトマッチ性能もベースラインおよびGECAモデルを上回った。
• レッドサーキュラースプリットでは、「world」と「both」のバリエーションがベースラインを上回り、GECAの性能と同等だったが、GECAは世界再構築によるより多くの監視信号を用いていた。
• 相対性（E）スプリットでは性能が低く、エクサクトマッチ正確性は最大で50％にとどまり、相対的属性に関する関係的推論が依然として大きな課題であることが示された。
• 誤差解析から、ターゲット予測正確性とエクサクトマッチ性能の間に強い相関が確認され、性能差の主な原因はデコードエラーではなく、ターゲット予測の誤りであると考えられる。
• アブレーションスタディにより、ターゲット予測スコアによる視覚的特徴の重み付けが極めて重要であることが確認された。このメカニズムを削除すると、ターゲット予測正確性が高くてもエクサクトマッチ正確性が著しく低下した。