[論文レビュー] Latent Compositional Representations Improve Systematic Generalization in Grounded Question Answering

Ben Bogin, Sanjay Subramanian+2 more|arXiv (Cornell University)|Jul 1, 2020

Topic Modeling参考文献 44被引用数 6

ひとこと要約

本稿では、下位から上位へのCKYスタイルの解析プロセスを用いて、文脈付き質問応答における潜在的構成的構造を誘導するニューラルモデルであるGrounded Latent Trees (GLT)を提案する。すべての質問スパンに対して、エンド・トゥ・エンドの監視のもとで階層的・構成的に表現と意味を計算することで、GLTはClosureデータセットで96.1%の精度を達成し、強力なベースラインより24ポイントも高い。これは、分布外の構成に対する体系的一般化の顕著な向上を示している。

ABSTRACT

Answering questions that involve multi-step reasoning requires decomposing them and using the answers of intermediate steps to reach the final answer. However, state-of-the-art models in grounded question answering often do not explicitly perform decomposition, leading to difficulties in generalization to out-of-distribution examples. In this work, we propose a model that computes a representation and denotation for all question spans in a bottom-up, compositional manner using a CKY-style parser. Our model induces latent trees, driven by end-to-end (the answer) supervision only. We show that this inductive bias towards tree structures dramatically improves systematic generalization to out-of-distribution examples, compared to strong baselines on an arithmetic expressions benchmark as well as on CLOSURE, a dataset that focuses on systematic generalization for grounded question answering. On this challenging dataset, our model reaches an accuracy of 96.1%, significantly higher than prior models that almost perfectly solve the task on a random, in-distribution split.

研究の動機と目的

• 文脈付き質問応答における分布外（OOD）の構成に対するニューラルモデルの体系的一般化の失敗を解決すること。
• 構成的で階層的な計算へのインダクティブバイアスを課すことにより、分布内性能を超える一般化が向上するかどうかを調査すること。
• ゴールド構造の監視が不要な状態で、潜在的な文法的・意味的構造を学習するモデルを開発すること。
• 誘導された構成的構造が、モデルの性能向上と人間の解釈可能性の両方に寄与するかどうかを評価すること。

提案手法

• モデルはCKYスタイルのパーサーを用い、質問内のすべてのスパンについて、単語から始めて再帰的に表現と意味（オブジェクト集合）を計算する。
• 意味は、スパンの内容と部分スパンの出力をもとに予測される学習済みモジュールを用いて、下位から上位へと計算される。
• 最終的な答えの監視のみを用いてエンド・トゥ・エンドで訓練され、最適化を通じて意味のある潜在的木構造を発見するよう強制される。
• デコード中に各ノードで最も確率の高い分割とモジュールを選択することで、潜在的木構造が誘導され、構成的推論が可能になる。
• グローバルな文脈を避けるよう設計され、情報の流れを部分スパンに制限することで、短絡的学習への依存を低減する。
• 合成的な算術式と、構成的一般化を重視するClosureデータセットの両方でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 構成的計算へのインダクティブバイアスを有するニューラルモデルは、文脈付き質問応答における分布外の構成に対して、より良い一般化を達成できるか？
• RQ2 エンド・トゥ・エンド訓練により潜在的な文法的構造を誘導することで、体系的一般化ベンチマークでの性能が向上するか？
• RQ3 モデルが生成する中間の構成的構造は、人間の解釈可能性をどの程度サポートするか？
• RQ4 新しい構成を要請するOODスプリットで評価した場合、モデルの性能は強力なベースラインと比べてどうなるか？
• RQ5 自然言語の変動に強い実世界の人の質問（例：Clevr-Humans）に対して、高い精度を達成しながらも、構成的インダクティブバイアスを維持できるか？

主な発見

• Closureデータセットでは、GLTモデルが分布外の構成スプリットで96.1%の精度を達成した。これは強力なベースラインより24ポイントも高く、ゴールド構造を用いたモデルよりも19ポイントも高い。
• 算術式ベンチマークでは、GLTがOODスプリットで98.4%の精度を達成したが、強力なTransformerベースラインはわずか2.9%の精度に留まり、完全に失敗した。
• 予測木における期待される構成要素の81.6–83.1%を正しく特定した。CLEVRでは95.9%、Closureでは94.7%の高い意味的F1スコアを達成した。
• 前方予測テストでは、人間参加者が意味的木構造（denotation tree）を提示された場合、質問と答えだけを提示された場合と比べて有意に高い正確性（Closureで82.5%）を示した。
• モデルの中間出力は非常に解釈可能である：Closureでは83.1%の構成要素が正しく予測され、誤りの多くは意味の誤りではなく、わずかな分割の誤予測に起因していた。
• モデルは実世界の人の質問に対しても良好に一般化し、CLEVR-Humansでは99.1%の精度を達成した。これは自然言語の変動に対しても頑健であることを示している。