[論文レビュー] Looking Beyond Sentence-Level Natural Language Inference for Downstream Tasks

Anshuman Mishra, Dhruvesh Patel+4 more|arXiv (Cornell University)|Sep 18, 2020

Topic Modeling参考文献 24被引用数 4

ひとこと要約

本論文は、既存の複数選択式読解理解（MCRC）データセットを、長文前提を有する自然言語推論（NLI）データセットに変換することで、NLPモデルにおける複文推論の性能を向上させることを提案する。文法的整合性と構造的整合性の両方をバランスさせるハイブリッド変換手法を用い、これらの新規データセットで微調整されたモデルは、要約の事実整合性チェック（CFCS）やMCRCといった下流タスクで、標準的な文レベルNLIデータで学習されたモデルを上回る最先端の性能を達成する。特に長文前提のタスクでは顕著な優位性を示す。

ABSTRACT

In recent years, the Natural Language Inference (NLI) task has garnered significant attention, with new datasets and models achieving near human-level performance on it. However, the full promise of NLI -- particularly that it learns knowledge that should be generalizable to other downstream NLP tasks -- has not been realized. In this paper, we study this unfulfilled promise from the lens of two downstream tasks: question answering (QA), and text summarization. We conjecture that a key difference between the NLI datasets and these downstream tasks concerns the length of the premise; and that creating new long premise NLI datasets out of existing QA datasets is a promising avenue for training a truly generalizable NLI model. We validate our conjecture by showing competitive results on the task of QA and obtaining the best reported results on the task of Checking Factual Correctness of Summaries.

研究の動機と目的

• 文レベルNLIデータセットで学習したNLIモデルが、質疑応答や要約といった下流タスクに一般化できない理由を調査すること。
• 既存のNLIデータセットと現実世界の下流タスクとの間の分布的ギャップとしての前提長さの重要性を特定すること。
• 既存のMCRCデータセットを高品質で長文前提を有するNLIデータセットに変換する戦略の開発と評価すること。
• これらの新規データセットで学習したモデルが、長文文脈推論タスクにおいて標準的なNLIデータで学習したモデルを上回ることを実証すること。
• 真に汎用的なNLIモデルを学習するための、広く有用な新規リソースを提供すること。

提案手法

• ルールベース（ヒューリスティックな文分割）、ニューラル（ニューラルシーケンス・ツー・シーケンス生成）、ハイブリッド（ルールベースの構造とニューラルの最適化を組み合わせる）の3つの変換戦略を提案する。
• ハイブリッド手法は、ルールベースのテンプレートで前提-仮説ペアの構造を定義し、ニューラルモデルを用いて文法的整合性とスムーズさを向上させる。
• 既存のMCRCデータセット（例：RACE、MultiRC、DREAM、CosmosQA、RACE）を、長文で複文からなる前提を持つNLIスタイルのデータセットに再利用する。
• モデルは変換済みNLIデータセットで微調整され、2つの下流タスク（MCRC：分類問題、CFCS：分類およびランク付け）で評価される。
• 前提長さの異なる条件下での性能を分析し、長文文脈への一般化能力を評価する。
• MCRCでの競争的性能とCFCSでの最先端結果を示すことで、変換済みデータセットの品質を検証する。

実験結果

リサーチクエスチョン

• RQ1 NLIデータセットにおける前提の長さが、QA や要約といった下流タスクへのモデルの転送性能に顕著に影響を与えるか？
• RQ2 文法的・構造的整合性を損なわせることなく、既存のMCRCデータセットを高品質で長文前提を有するNLIデータセットに効果的に変換できるか？
• RQ3 ルールベース、ニューラル、ハイブリッドの各変換戦略は、得られるNLIインスタンスの意味的・文法的品質をどの程度維持できるか？
• RQ4 長文前提NLIデータセットで学習したモデルは、複文推論を要する下流タスクにおいて、文レベルNLIデータセットで学習したモデルを上回る性能を示すか？
• RQ5 短文前提NLIデータで学習したモデルは、長文前提の下流タスクに適用した際に、顕著な性能低下を示すか？

主な発見

• ハイブリッド変換されたRACE Hybridデータセットで学習したモデルは、CFCS分類タスクで86.55％のバランス精度と0.73のF1スコアを達成し、これまで報告されたすべての結果を上回った。
• 平均前提長が最も長い（188.5語）RACE Hybridで学習したモデルは、MultiNLIのような短文前提データセットで学習したモデルと比べ、前提長が200語を超えると顕著に優れた性能を示した。
• 文対ランク付けタスクでは、RACE Hybridモデルが75.70％の精度を達成し、長文文脈推論において優れた性能を示した。一方、MultiNLIモデルは200語を超える前提で急激に性能を落とした。
• ハイブリッド変換手法は、文法的整合性と構造的整合性の両方を最もよくバランスさせた、最高品質のNLIインスタンスを生成した。ルールベースやニューラル単体の手法よりも優れた性能を示した。
• 短文前提NLIデータで学習したモデルのMCRCおよびCFCSタスクにおける性能低下は、前提長が増加するにつれて顕著に顕著に進行し、長文文脈学習の重要性を裏付けた。
• これらの結果は、前提長の分布的ギャップが、文レベルNLIから複文推論を要する下流タスクへの転送性能が低い主な要因であることを強く実証的裏付けた。