[论文解读] Commonsense Reasoning for Natural Language Understanding: A Survey of Benchmarks, Resources, and Approaches

Shane Storks, Qiaozi Gao+1 more|arXiv (Cornell University)|Apr 2, 2019

Topic Modeling被引用 46

一句话总结

本综述全面概述了自然语言处理中常识推理的基准、知识资源以及学习/推理方法。它综合现有研究，厘清了当前技术水平，识别了局限性，并指出了推动机器通过类人推理理解自然语言的未来挑战。

ABSTRACT

Commonsense knowledge and commonsense reasoning are some of the main bottlenecks in machine intelligence. In the NLP community, many benchmark datasets and tasks have been created to address commonsense reasoning for language understanding. These tasks are designed to assess machines' ability to acquire and learn commonsense knowledge in order to reason and understand natural language text. As these tasks become instrumental and a driving force for commonsense research, this paper aims to provide an overview of existing tasks and benchmarks, knowledge resources, and learning and inference approaches toward commonsense reasoning for natural language understanding. Through this, our goal is to support a better understanding of the state of the art, its limitations, and future challenges.

研究动机与目标

• 综合现有用于评估自然语言理解中常识推理的基准和数据集。
• 分析支持自然语言处理系统中常识推理的可用知识资源。
• 研究用于提升机器常识知识推理能力的学习与推理方法。
• 识别当前方法中的差距与局限性，并为该领域的未来研究提供指导。

提出的方法

• 系统性回顾与分类现有聚焦于自然语言处理中常识推理的基准数据集。
• 分析用于支撑常识推理的知识资源，如 ConceptNet、开放信息抽取工具和知识图谱。
• 调查用于常识推理的预训练、微调以及知识增强神经网络等学习方法。
• 考察整合符号方法与神经方法以提升自然语言推理能力的推理技术。
• 评估不同基准中的任务设计模式，以识别常见挑战与评估标准。
• 综合当前研究方向中的趋势、局限性与开放性问题。

实验结果

研究问题

• RQ1 目前用于评估自然语言处理中常识推理的关键基准和数据集有哪些？
• RQ2 哪些知识资源在支持常识推理任务方面最为有效？
• RQ3 当前的学习与推理方法在性能与泛化能力方面如何比较？
• RQ4 在推进自然语言处理中常识推理方面，主要的局限性与开放性挑战是什么？
• RQ5 未来研究如何基于现有工作，实现更稳健且类人化的机器推理？

主要发现

• 已开发出大量基准用于评估常识推理，包括 ARC、CommonsenseQA 和 HellaSwag，各自针对不同的推理能力。
• ConceptNet 和开放信息抽取系统等知识资源被广泛用于向自然语言模型提供外部常识知识。
• 基于预训练并在常识任务上微调的模型表现出显著的性能提升，但其在不同领域间的泛化能力仍有限。
• 结合符号知识与神经网络的混合方法在提升推理鲁棒性与可解释性方面展现出潜力。
• 尽管已取得进展，当前系统在分布外推理以及复杂因果或反事实推理方面仍存在困难。
• 该领域缺乏标准化的评估协议与共享基准，阻碍了不同方法之间的公平比较。