[论文解读] Natural Language Reasoning, A Survey

F. Richard Yu, Hongbo Zhang+2 more|arXiv (Cornell University)|Mar 26, 2023

Natural Language Processing Techniques被引用 11

一句话总结

本综述提出了一个清晰的自然语言推理（NLR）在NLP中的定义和分类，并回顾了基于PLM的方法在关键任务领域的应用，强调反向推理，并讨论可推翻推理作为未来方向。

ABSTRACT

This survey paper proposes a clearer view of natural language reasoning in the field of Natural Language Processing (NLP), both conceptually and practically. Conceptually, we provide a distinct definition for natural language reasoning in NLP, based on both philosophy and NLP scenarios, discuss what types of tasks require reasoning, and introduce a taxonomy of reasoning. Practically, we conduct a comprehensive literature review on natural language reasoning in NLP, mainly covering classical logical reasoning, natural language inference, multi-hop question answering, and commonsense reasoning. The paper also identifies and views backward reasoning, a powerful paradigm for multi-step reasoning, and introduces defeasible reasoning as one of the most important future directions in natural language reasoning research. We focus on single-modality unstructured natural language text, excluding neuro-symbolic techniques and mathematical reasoning.

研究动机与目标

• 提出一个独特的自然语言推理（NLR）在NLP中的定义，该定义以哲学和NLP实践为基础。
• 建立推理类型的分类体系，并识别需要NLR的任务。
• 提供关于NLR在NLP中的全面文献综述，涵盖经典逻辑推理、自然语言推理、多步問答和常识推理。
• 突出反向推理作为多步推理的强大范式，并讨论可推翻推理作为未来的一个关键方向。

提出的方法

• 通过整合哲学、逻辑和NLP视角来澄清NLR的概念。
• 引入推理类型的分类（演绎推理 vs 可推翻推理）并将其映射到NLP任务。
• 回顾并对基于PLM的NLR方法进行分类（端到端、前向、后向），覆盖各基准。
• 讨论后向推理与思维链提示作为实际技术。
• 确定局限性和未来方向，包括可推翻推理以及推理路径的可信度/忠实性。

实验结果

研究问题

• RQ1 在NLP中，什么是自然语言推理，以及如何在不同学科之间一致地定义它？
• RQ2 NLP中的哪些任务需要推理，应如何进行分类？
• RQ3 预训练语言模型如何执行NLR，以及哪些方法（端到端、前向、后向）是有效的？
• RQ4 什么是后向推理，与前向推理在效率与可解释性方面有何比较？
• RQ5 NLR的哪些未来方向有前景，例如可推翻推理和推理路径的可信性？

主要发现

• 提出了一个独特的自然语言推理在NLP中的定义，结合了哲学、逻辑和NLP的关注点。
• 提供了对基于PLM的NLR方法的全面综述，覆盖基准和方法。
• 将后向推理识别为一个重要但尚未充分研究的范式，具有潜在的效率优势。
• 将可推翻推理作为未来的一个重要方向，影响NLP解决方案和可解释性。
• 思维链提示和推理路径可提升多步推理，并可在大模型中学习或被提示。
• (看起来) PLMs 具有在跨领域的推理任务中整合显式与隐式知识的潜力。