[论文解读] Looking Beyond Sentence-Level Natural Language Inference for Downstream Tasks

Anshuman Mishra, Dhruvesh Patel+4 more|arXiv (Cornell University)|Sep 18, 2020

Topic Modeling参考文献 24被引用 4

一句话总结

本文提出将现有的多项选择阅读理解（MCRC）数据集转化为长前提自然语言推理（NLI）数据集，以提升NLP模型在多句推理方面的能力。通过采用一种混合转换方法，在语法连贯性和结构保真度之间取得平衡，基于这些新数据集训练的模型在下游任务（如摘要事实一致性检查（CFCS）和MCRC）中达到最先进性能，优于在标准句子级NLI数据上训练的模型，尤其在长前提场景下表现更优。

ABSTRACT

In recent years, the Natural Language Inference (NLI) task has garnered significant attention, with new datasets and models achieving near human-level performance on it. However, the full promise of NLI -- particularly that it learns knowledge that should be generalizable to other downstream NLP tasks -- has not been realized. In this paper, we study this unfulfilled promise from the lens of two downstream tasks: question answering (QA), and text summarization. We conjecture that a key difference between the NLI datasets and these downstream tasks concerns the length of the premise; and that creating new long premise NLI datasets out of existing QA datasets is a promising avenue for training a truly generalizable NLI model. We validate our conjecture by showing competitive results on the task of QA and obtaining the best reported results on the task of Checking Factual Correctness of Summaries.

研究动机与目标

• 探究为何在句子级数据集上训练的NLI模型难以泛化到问答和摘要等下游任务。
• 识别现有NLI数据集与真实世界下游任务之间的前提长度分布差异作为关键差距。
• 开发并评估将现有MCRC数据集转化为高质量、长前提NLI数据集的转换策略。
• 证明在这些新数据集上训练的模型在需要多句推理的下游任务中优于在标准NLI数据上训练的模型。
• 提供一种广泛适用的新资源，用于训练真正具备泛化能力的NLI模型。

提出的方法

• 提出三种转换策略：基于规则的（启发式句子拆分）、神经方法（神经序列到序列生成）以及混合方法（结合基于规则的结构与神经模型优化）。
• 混合方法使用基于规则的模板构建前提-假设对，并应用神经模型提升语法连贯性和语言流畅性。
• 将现有的MCRC数据集（如RACE、MultiRC、DREAM、CosmosQA、RACE）重新构造成具有长、多句前提的NLI风格数据集。
• 在转换后的NLI数据集上微调模型，并在两个下游任务上进行评估：MCRC（作为分类问题）和CFCS（分类与排序任务）。
• 通过分析不同前提长度下的性能，评估模型在长上下文场景下的泛化能力。
• 通过在MCRC任务上表现良好以及在CFCS任务上达到最先进结果，验证了转换后数据集的质量。

实验结果

研究问题

• RQ1 NLI数据集中前提的长度是否显著影响模型向问答和摘要等下游任务的迁移能力？
• RQ2 能否在不牺牲语法或结构连贯性的前提下，有效将现有MCRC数据集转化为高质量、长前提的NLI数据集？
• RQ3 不同转换策略（基于规则、神经方法、混合方法）在保持生成NLI实例语义和句法质量方面表现如何比较？
• RQ4 在需要多句推理的下游任务中，基于长前提NLI数据集训练的模型是否优于在句子级NLI数据上训练的模型？
• RQ5 在应用于长前提下游任务时，基于短前提NLI数据训练的模型是否存在可测量的性能下降？

主要发现

• 在RACE Hybrid数据集上训练的模型在CFCS分类任务中达到86.55%的平衡准确率和0.73的F1分数，优于所有先前报告的结果。
• 在RACE Hybrid上训练的模型（其平均前提长度最长，为188.5个词）在前提长度超过200词时，显著优于在较短前提数据集（如MultiNLI）上训练的模型。
• 在句子对排序任务中，RACE Hybrid模型达到75.70%的准确率，表现出在长上下文推理中的强大性能，而MultiNLI模型在前提超过200词后性能急剧下降。
• 混合转换方法生成的NLI实例质量最高，在语法连贯性和结构保真度之间实现了最佳平衡，优于仅使用基于规则或仅使用神经方法的策略。
• 在MCRC和CFCS任务中，基于短前提NLI数据训练的模型（如MultiNLI）在前提长度增加时性能下降更为显著，证实了长上下文训练的重要性。
• 结果提供了强有力的实证证据，表明前提长度的分布差异是导致从句子级NLI向需要多句推理的下游任务迁移失败的关键原因。