[论文解读] LogiQA: A Challenge Dataset for Machine Reading Comprehension with Logical Reasoning

Liu Jian, Leyang Cui+4 more|arXiv (Cornell University)|Jul 16, 2020

Topic Modeling参考文献 29被引用 5

一句话总结

LogiQA 引入了一个大规模、由专家构建的阅读理解数据集，包含 8,678 个测试逻辑推理的题目，涵盖类别推理、条件推理、合取推理和析取推理。尽管最先进的神经网络模型如 RoBERTa 的准确率仅为 40.38%，人类表现却达到 96.00%，凸显了显著的性能差距，并确立了 LogiQA 作为推动神经网络 NLP 模型中逻辑推理能力发展的基准。

ABSTRACT

Machine reading is a fundamental task for testing the capability of natural language understanding, which is closely related to human cognition in many aspects. With the rising of deep learning techniques, algorithmic models rival human performances on simple QA, and thus increasingly challenging machine reading datasets have been proposed. Though various challenges such as evidence integration and commonsense knowledge have been integrated, one of the fundamental capabilities in human reading, namely logical reasoning, is not fully investigated. We build a comprehensive dataset, named LogiQA, which is sourced from expert-written questions for testing human Logical reasoning. It consists of 8,678 QA instances, covering multiple types of deductive reasoning. Results show that state-of-the-art neural models perform by far worse than human ceiling. Our dataset can also serve as a benchmark for reinvestigating logical AI under the deep learning NLP setting. The dataset is freely available at https://github.com/lgw863/LogiQA-dataset

研究动机与目标

• 为解决当前缺乏大规模、高质量数据集以测试机器阅读理解中的逻辑推理这一核心人类认知能力的问题，该能力在现代 NLP 中常被忽视。
• 创建一个基准数据集，用于评估神经网络模型在超越事实记忆或常识推理的演绎推理能力，重点聚焦于形式化逻辑结构。
• 通过提供基于专家编写的逻辑考试题目的数据集，重新评估深度学习模型在逻辑推理方面的潜力。
• 识别当前神经网络架构在处理复杂逻辑关系（如必要性、充分性及条件句中的否定）方面的局限性。
• 作为在深度学习 NLP 范式下重新激发符号逻辑与深度学习融合研究的基础。

提出的方法

• 该数据集源自公开可获取的专家编写的逻辑推理考试题，经过筛选，排除了涉及图表、图像或复杂数学的问题。
• 问题经过人工精心筛选，涵盖五类推理类型：类别推理、充分条件推理、必要条件推理、析取推理和合取推理，以确保逻辑类型的广泛多样性。
• 每个问答实例包含一段包含前提的短文和一个问题，附带四个候选答案，其中正确答案需要通过逻辑推理得出，而非依赖词汇重叠。
• 对 RoBERTa、BERT 及多种基于注意力机制的阅读模型进行评估，以衡量其在逻辑推理任务上的表现。
• 进行词汇重叠分析，以评估模型是否依赖表面匹配；对每个实例识别最佳匹配候选答案以进行对比。
• 对模型失败案例进行定性案例研究，特别关注对否定和复杂条件逻辑的误解。

实验结果

研究问题

• RQ1 最先进的神经网络阅读理解模型能否泛化到复杂的逻辑推理任务，如条件推理和合取推理？
• RQ2 神经网络模型在回答 LogiQA 中的问题时，在多大程度上依赖词汇重叠而非逻辑推理？
• RQ3 为何 RoBERTa 等模型在处理必要条件和充分条件推理时表现不佳，尤其是在涉及否定时？
• RQ4 性能在不同类型的逻辑推理之间如何变化？哪些推理类型对当前模型最具挑战性？
• RQ5 LogiQA 是否可作为重新评估符号逻辑与深度学习在 NLP 中融合的可行基准？

主要发现

• RoBERTa 在完整 LogiQA 数据集上的准确率为 40.38%，远低于人类的 96.00% 的上限，表明在逻辑推理方面存在显著性能差距。
• 表现最佳的基线模型 RoBERTa 在条件推理任务上仍表现欠佳，充分条件推理的准确率仅为 17.11%，必要条件推理为 19.29%。
• 在合取和析取推理任务上，RoBERTa 的准确率分别为 21.98% 和 22.67%，显示出在处理复杂逻辑组合时存在明显困难。
• 重叠比率分析表明，RoBERTa 依赖词汇匹配的程度低于其他模型，重叠比率为 32.08%，表明其较少受表面匹配的影响。
• 案例研究显示，RoBERTa 频繁无法正确解释逻辑语句中的否定，例如在 x => ¬z 的条件关系中，证实了其在处理否定方面已知的局限性。
• 词汇匹配基线模型的重叠准确率为 100%，但实际准确率仅为 28.37%，表明仅靠词汇匹配无法满足逻辑推理需求。