[论文解读] Natural Language QA Approaches using Reasoning with External Knowledge

Chitta Baral, Pratyay Banerjee+2 more|arXiv (Cornell University)|Mar 6, 2020

Topic Modeling参考文献 81被引用 5

一句话总结

本文综述了近年来依赖外部知识进行推理的自然语言问答（NLQA）领域的最新进展，整合了符号化、神经网络及神经符号方法。文章强调了需要常识、世界知识或逻辑推理的数据集，并指出了统一知识表示与自然语言处理研究的关键挑战与未来方向。

ABSTRACT

Question answering (QA) in natural language (NL) has been an important aspect of AI from its early days. Winograd's ``councilmen'' example in his 1972 paper and McCarthy's Mr. Hug example of 1976 highlights the role of external knowledge in NL understanding. While Machine Learning has been the go-to approach in NL processing as well as NL question answering (NLQA) for the last 30 years, recently there has been an increasingly emphasized thread on NLQA where external knowledge plays an important role. The challenges inspired by Winograd's councilmen example, and recent developments such as the Rebooting AI book, various NLQA datasets, research on knowledge acquisition in the NLQA context, and their use in various NLQA models have brought the issue of NLQA using ``reasoning'' with external knowledge to the forefront. In this paper, we present a survey of the recent work on them. We believe our survey will help establish a bridge between multiple fields of AI, especially between (a) the traditional fields of knowledge representation and reasoning and (b) the field of NL understanding and NLQA.

研究动机与目标

• 弥合传统知识表示与推理（KRR）与现代自然语言处理（NLP）及NLQA研究之间的鸿沟。
• 识别并分析需要输入文本之外的外部知识才能正确回答的问题数据集。
• 考察NLQA模型中如何使用不同类型的知识（结构化知识、文本知识、神经嵌入知识、常识）
• 评估神经网络、符号化及神经符号模型在利用外部知识进行推理时的性能与局限性。
• 提出未来研究方向，以改进NLQA中的推理能力，尤其聚焦于定义性概念与知识获取。

提出的方法

• 调研20多个近期的NLQA数据集，如OpenBookQA、CommonsenseQA、HotpotQA、DROP和WinoGrande，这些数据集均需依赖外部知识。
• 对NLQA中使用的知识类型进行分类：结构化知识、文本知识、神经嵌入知识以及常识。
• 基于知识的表达方式与推理模块类型（符号化、神经网络或神经符号）分析模型架构。
• 评估模型在定性与定量推理任务上的表现，包括符号数学与逻辑推理。
• 考察Transformers在处理经典逻辑与有限非单调推理方面的能力。
• 提出一种框架，用于通过逻辑定义来定义与形式化语言概念（如“indicates”），以提升模型的可解释性与准确性。

实验结果

研究问题

• RQ1 不同NLQA数据集（如OpenBookQA、WinoGrande、DROP）如何要求超出输入上下文的外部知识？
• RQ2 神经网络、符号化与神经符号模型在利用外部知识进行推理时的优势与局限性是什么？
• RQ3 神经网络模型在归纳推理与非单调推理方面的能力有多强？其失败模式是什么？
• RQ4 是否可以使用逻辑定义来形式化定义性概念（如“indicates”），以提升模型性能与泛化能力？
• RQ5 在何种情况下，手动以逻辑形式定义知识比从数据中学习更有效？

主要发现

• 神经网络模型在定性推理任务（如QuaRel、QuaRTz）上的表现为70–80%，而人类表现可达94–95%。
• 神经网络模型在简单归纳推理任务（如AbductiveNLI双选多选题）中表现良好，但在假设生成任务中表现不佳。
• 符号化与神经符号模型在需要逻辑一致性与组合性的复杂推理任务中优于纯神经网络模型。
• Transformers能够理解基本的自然语言规则并执行有限的非单调推理，但在处理复杂逻辑依赖关系时表现吃力。
• 通过逻辑定义形式化关键语言概念（如“indicates”）可提升模型的准确率与可解释性，尤其在生命周期与时间推理任务中效果显著。
• LifeCycleQA与OpenBookQA等数据集表明，对“indicates”等词语的精确语义定义对正确推理至关重要，而这类定义在训练数据中往往缺失。