[论文解读] Recent Advances in Natural Language Inference: A Survey of Benchmarks, Resources, and Approaches

Shane Storks, Qiaozi Gao+1 more|arXiv (Cornell University)|Apr 2, 2019

Topic Modeling参考文献 285被引用 48

一句话总结

对最近的基准测试、知识资源以及自然语言推断（NLI）的学习/推理方法的综述，强调基准、资源类型、模型趋势、局限性和未来机会。

ABSTRACT

In the NLP community, recent years have seen a surge of research activities that address machines' ability to perform deep language understanding which goes beyond what is explicitly stated in text, rather relying on reasoning and knowledge of the world. Many benchmark tasks and datasets have been created to support the development and evaluation of such natural language inference ability. As these benchmarks become instrumental and a driving force for the NLP research community, this paper aims to provide an overview of recent benchmarks, relevant knowledge resources, and state-of-the-art learning and inference approaches in order to support a better understanding of this growing field.

研究动机与目标

• 提供对最近的 NLI 基准和任务在语言上下文之外的概览。
• 总结用于支持 NLI 的知识资源，包括语言知识、常识知识和常识性知识。
• 回顾 NLI 的学习和推理方法，并讨论它们的性能和局限性。
• 讨论基准、资源和方法当前的局限性及未来机会。

提出的方法

• 对当代 NLI 基准和任务进行编目和分类（参考解析、问答、文本蕴含、合理推断、心理推理、多任务）。
• 将知识资源分类为语言知识、常识知识和常识性知识，并将它们与 NLI 任务联系起来。
• 从符号、统计到深度神经网络，调查学习与推理方法并分析它们的优点与局限性。
• 讨论数据偏见、可解释性和影响 NLI 进展的基准设计等问题。

实验结果

研究问题

• RQ1 用于评估 NLI 及相关推理能力的主要基准数据集和任务表述是什么？
• RQ2 支持 NLI 的知识资源类型有哪些，它们如何映射到基准需求？
• RQ3 对 NLI 最具影响力的学习与推理方法是什么，以及哪些局限性和偏差影响进展？
• RQ4 当前 NLI 基准和资源的局限性有哪些，未来研究有哪些机会？

主要发现

• 自2000年代初以来，NLI 的基准不断增多，2015年后出现了许多大规模数据集，使深度学习方法成为可能。
• NLI 的知识资源可分为语言知识、常识性知识和常识性知识，每种对推理任务的贡献不同。
• 从符号到深度神经方法的多种学习方法已取得显著性能，但在可解释性和数据偏差方面存在问题。
• 基准在任务表述、数据收集和难度方面各不相同，影响不同模型之间的可比性和进展评估。
• 仍然需要更好地捕捉现实世界推理、世界知识和常识理解的基准和资源。