[論文レビュー] Reading Comprehension as Natural Language Inference: A Semantic Analysis

Anshuman Mishra, Dhruvesh Patel+4 more|arXiv (Cornell University)|Oct 4, 2020

Topic Modeling参考文献 15被引用数 4

ひとこと要約

本稿では、RACEデータセットをNLI形式に変換し、QAとNLI形式で訓練されたRoBERTaモデルを比較することで、自然言語推論（NLI）としての読解理解を調査している。NLIベースのモデルは帰納的推論、対話的推論、数学的推論の問題でQAベースのモデルを上回ったが、否定に関する問題ではQAモデルが優れていることが判明し、タスク形式に依存する性能優位性が浮き彫りになった。

ABSTRACT

In the recent past, Natural language Inference (NLI) has gained significant attention, particularly given its promise for downstream NLP tasks. However, its true impact is limited and has not been well studied. Therefore, in this paper, we explore the utility of NLI for one of the most prominent downstream tasks, viz. Question Answering (QA). We transform the one of the largest available MRC dataset (RACE) to an NLI form, and compare the performances of a state-of-the-art model (RoBERTa) on both these forms. We propose new characterizations of questions, and evaluate the performance of QA and NLI models on these categories. We highlight clear categories for which the model is able to perform better when the data is presented in a coherent entailment form, and a structured question-answer concatenation form, respectively.

研究の動機と目的

• 読解理解を自然言語推論（NLI）タスクに変換することでモデル性能が向上するかどうかを評価すること。
• NLIベースのモデルが従来のQAモデルを上回る語義的推論カテゴリを特定すること。
• 質問・回答の連結形式と前提・仮説ペアの形式というデータフォーマットの違いがモデル性能に与える影響を分析すること。
• NLI形式化によって恩恵を受ける質問タイプの語義的特徴を明らかにすること。
• 読解理解タスクにおける質問タイプと推論カテゴリに応じたモデル選択の指針を提供すること。

提案手法

• RACEデータセット（穴埋め形式の質問を除く）をルールベースの手法を用いてNLI形式に変換し、各質問・回答ペアを前提（ペルエプシス）としての文章と仮説（ハイポセシス）に変換した。
• 先行研究（Demszky et al., 2018）の依存解析および言い換えルールを適用し、RACE固有の質問タイプ（例：「以下のうちどれが正しくないか」）に特化したカスタム拡張を加えた。
• RoBERTaを元のQA形式のRACEデータと変換済みNLI形式のデータの両方で微調整し、モデル性能を比較した。
• QAモデルとNLIモデルが予測を食い違う175例の開発セット例を手動で分類し、7つの語義的推論カテゴリ（言語的マッチング、主な趣旨、否定、対話、数学、帰納的推論、帰納的推論）に分類した。
• キーワード（例：'not'、'how many'、'true'）を用いたヒューリスティックベースのカテゴリ化手法を用い、重複を許す質問タイプを定義し、定量的比較を可能にした。
• 手動分類とヒューリスティック分類の両方のカテゴリでモデル性能を評価し、形式依存の性能優位性を同定した。

実験結果

リサーチクエスチョン

• RQ1 どの語義的推論カテゴリにおいてNLIベースのモデルがQAベースのモデルを上回るか？
• RQ2 RoBERTaの性能は、QA形式データとNLI形式データで訓練した場合にどのように異なるか？
• RQ3 NLI変換における適切な仮説生成は、単純な質問・回答連結に比べてどれほどモデル性能を向上させるか？
• RQ4 対話的推論、否定、数学的推論を含む特定の質問タイプでは、NLI形式化が顕著な性能向上をもたらすか？
• RQ5 特に複雑な推論タスクにおいて、NLIデータセットでの事前学習が行われていない場合でも、NLI形式化が利点をもたらすか？

主な発見

• 対話的推論の質問では、NLIベースのモデルが83.60%の正答率を達成したのに対し、QAベースのモデルは80.65%にとどまり、NLIモデルが優れた性能を示した。
• 帰納的推論の質問（例：「どの文が正しいか？」）では、NLIモデルが88.29%の正答率を記録し、QAモデルの81.91%を大きく上回った。
• 数学的推論の質問（例：「雪の関数はいくつ議論されているか？」）では、NLIモデルが55.00%の正答率を達成したのに対し、QAモデルは45.00%にとどまり、明確な優位性が示された。
• 否定に関する質問（例：「どれが正しくないか？」）では、QAモデルが80.86%の正答率を記録したのに対し、NLIモデルは77.77%にとどまり、このカテゴリではQA形式が優位であることが示された。
• 対話からの推論や正確なテクスト的帰納が必要な質問では、NLIモデルが一貫した性能向上を示した。これは、構造的な仮説生成がこれらの文脈で推論を強化していることを示唆している。
• 手動分析の結果、QAモデルがNLIモデルを上回った損失ケースの66%が、複雑な質問タイプにおける劣悪な仮説生成に起因していた。これは、高品質な変換ルールの重要性を強調している。