[論文レビュー] A Generate-Validate Approach to Answering Questions about Qualitative Relationships

Arindam Mitra, Chitta Baral+2 more|arXiv (Cornell University)|Aug 9, 2019

Topic Modeling参考文献 16被引用数 5

ひとこと要約

本稿では、質的関係に関する質問に答えるための「生成・検証」フレームワークを提案する。従来の意味解析に代わって、自然言語生成と検証を用いる。論理式の自然言語解釈を生成し、それを入力テキストと照合することで、QUARELベンチマークにおいてSOTA（68.7%から76.63%）を7.93%上回る性能を達成。BERTとSNLIのファインチューニングにより、転移学習と頑健性が向上していることが示された。

ABSTRACT

Qualitative relationships describe how increasing or decreasing one property (e.g. altitude) affects another (e.g. temperature). They are an important aspect of natural language question answering and are crucial for building chatbots or voice agents where one may enquire about qualitative relationships. Recently a dataset about question answering involving qualitative relationships has been proposed, and a few approaches to answer such questions have been explored, in the heart of which lies a semantic parser that converts the natural language input to a suitable logical form. A problem with existing semantic parsers is that they try to directly convert the input sentences to a logical form. Since the output language varies with each application, it forces the semantic parser to learn almost everything from scratch. In this paper, we show that instead of using a semantic parser to produce the logical form, if we apply the generate-validate framework i.e. generate a natural language description of the logical form and validate if the natural language description is followed from the input text, we get a better scope for transfer learning and our method outperforms the state-of-the-art by a large margin of 7.93%.

研究の動機と目的

• 質的推論タスクにおける自然言語から論理式へのマッピングに、従来の意味解析手法に見られる限界を克服すること。
• 生成と検証を分離することで、質的関係に関する質問応答における転移学習とモデル一般化性能を向上させること。
• タスク固有の論理式を再発見するのを避けるフレームワークを構築し、タスク固有の監視に依存するのを減らすこと。
• 事前学習モデル（BERT、ESIM）と外部データセット（SNLI）を統合することで、QUARELデータセットにおける性能を向上させ、より良い一般化を実現すること。
• 自然言語生成と検証が、質的推論におけるエンドツーエンド意味解析を上回る可能性があるかどうかを調査すること。

提案手法

• 本手法は、論理式の自然言語記述（例：「摩擦はカーペットの上ではより大きい」）を生成することで、直接的に記号論理にマッピングするのを避ける。
• 生成された記述を、テキスト帰属モデルを用いて入力テキストと照合することで、生成された主張が与えられた文脈に帰属するかどうかを評価する。
• フレームワークは2つのテキスト帰属モデルを用いる：1つは「与えられた」事実（文脈）用、もう1つは「主張」の選択肢（答えの選択肢）用。
• モデルはBERTとESIMをテキスト帰属エンコーダーとして用い、QUARELおよびSNLIデータセットでファインチューニングすることで一般化性能を向上させる。
• 2段階のプロセスを採用：まず、自然言語として妥当な論理式を生成し、次に各候補をテキスト帰属分類器で検証する。
• 最良の性能を示した設定は、『与えられた』エンコーダーにQUAREL+SNLIを統合してファインチューニングしたBERT、『主張』エンコーダーにQUARELのみでファインチューニングしたESIMを組み合わせたものである。

実験結果

リサーチクエスチョン

• RQ1 生成・検証フレームワークは、従来の意味解析手法を、質的推論タスクで上回ることができるか？
• RQ2 生成と検証を分離することで、質問応答における転移学習とモデル一般化性能が向上するか？
• RQ3 限定的な監視データでファインチューニングされた事前学習モデル（BERTやESIM）は、質的推論データセットでどの程度の性能を示すか？
• RQ4 QUARELとSNLIのデータを組み合わせることで、主張スコアリングの性能が低下する理由は何か、他の設定では一般化性能が向上しているにもかかわらずか？
• RQ5 モデルの主な失敗モードの原因は何か。また、『与えられた』スコアリング部の改善によってこれを緩和できるか？

主な発見

• 提案された生成・検証フレームワークは、QUARELテストセットで76.63%の正確性を達成し、前回のSOTA（68.7%）を7.93%の絶対的向上率で上回った。
• 最良のモデル設定は、『与えられた』スコア用にQUARELとSNLIでファインチューニングしたBERT、『主張』スコア用にQUARELのみでファインチューニングしたESIMを組み合わせたものである。
• 全体的な改善にもかかわらず、SNLIを用いて主張エンコーダーを学習させると性能が低下する傾向があり、SNLIの前提とQUARELの主張選択肢との間で分布的差異があるためと推測される。
• QUARELのみのデータで学習させた場合、ESIMモデルはBERTモデルを常に上回る性能を示し、タスクの言語的スタイルに適していることが示唆された。
• 主な失敗モードは、『与えられた』事実のスコアリングが誤っていることに起因しており、2つの誤り事例で、モデルが文脈に帰属する主張を誤って判断していた。
• 結果から、『与えられた』スコアリング部の改善によりさらなる向上が得られると示唆されており、主張生成と検証ステップはすでに高い正確性を達成している。