[论文解读] Logic-Driven Context Extension and Data Augmentation for Logical Reasoning of Text

Siyuan Wang, Wanjun Zhong+6 more|arXiv (Cornell University)|May 8, 2021

Topic Modeling被引用 12

一句话总结

本文提出一种基于逻辑的推理方法，通过显式识别逻辑符号和表达式，利用基于逻辑等价律的上下文扩展框架以及生成语义相似但逻辑上不同的样本的数据增强方法，显著提升文本逻辑推理能力。该方法在ReClor数据集上达到最先进性能，通过多模型集成系统在EASY和HARD两个子集上均超越人类表现。

ABSTRACT

Logical reasoning of text requires understanding critical logical information in the text and performing inference over them. Large-scale pre-trained models for logical reasoning mainly focus on word-level semantics of text while struggling to capture symbolic logic. In this paper, we propose to understand logical symbols and expressions in the text to arrive at the answer. Based on such logical information, we not only put forward a context extension framework but also propose a data augmentation algorithm. The former extends the context to cover implicit logical expressions following logical equivalence laws. The latter augments literally similar but logically different instances to better capture logical information, especially logical negative and conditional relationships. We conduct experiments on ReClor dataset. The results show that our method achieves the state-of-the-art performance, and both logic-driven context extension framework and data augmentation algorithm can help improve the accuracy. And our multi-model ensemble system is the first to surpass human performance on both EASY set and HARD set of ReClor.

研究动机与目标

• 通过显式建模符号逻辑而非仅依赖词级语义，提升基于文本的逻辑推理能力。
• 解决预训练模型在捕捉符号逻辑（尤其是逻辑否定和条件句）方面的局限性。
• 开发一种上下文扩展框架，利用逻辑等价律推断隐含的逻辑表达式。
• 设计一种基于逻辑变换的数据增强策略，生成对比性强、逻辑上不同但表面相似的样本，以提升模型泛化能力。
• 在ReClor基准上实现最先进性能，包括在EASY和HARD两个子集上超越人类表现。

提出的方法

• 基于逻辑的上下文扩展框架在输入文本中识别逻辑符号和表达式，并应用逻辑等价律（如逆否律、德摩根定律等）推断隐含的逻辑表达式。
• 将推断出的逻辑表达式转化为自然语言并附加到原始上下文后，形成扩展后的上下文，输入预训练模型。
• 数据增强算法通过否定、条件句转换等操作修改逻辑表达式，生成语义相似但逻辑不同的训练样本。
• 利用增强后的数据通过对比学习微调预训练模型（RoBERTa和ALBERT），提升模型对细微逻辑差异的辨别能力。
• 多模型集成系统结合RoBERTa和ALBERT的预测结果，提升在ReClor基准上的鲁棒性与性能。
• 系统在ReClor上进行评估，该数据集源自LSAT和GMAT考试，包含独立的EASY和HARD测试集，用于评估推理能力。

实验结果

研究问题

• RQ1 显式建模逻辑符号和表达式是否能提升在基于文本的逻辑推理任务上的表现？
• RQ2 在多大程度上可利用逻辑等价律推断并扩展自然语言上下文中的隐含逻辑内容？
• RQ3 基于逻辑变换的数据增强是否能提升模型泛化能力，特别是对否定和条件句等复杂逻辑关系？
• RQ4 集成基于逻辑的上下文扩展与数据增强是否能带来相较于标准预训练模型的性能提升？
• RQ5 基于逻辑增强的系统是否能在ReClor等逻辑推理基准上超越人类表现？

主要发现

• 所提出的基于逻辑的上下文扩展框架通过形式化推理揭示隐含逻辑表达式，显著提升推理准确率。
• 基于逻辑的数据增强算法增强了模型鲁棒性，尤其在区分逻辑否定与条件关系方面表现突出，带来可测量的性能提升。
• 多模型集成系统在ReClor基准上实现最先进性能，在EASY和HARD两个测试集上均优于此前方法。
• 该系统是首个在ReClor的EASY和HARD两个子集上均超越人类表现的模型，证明其在复杂逻辑推理中的有效性。
• 该方法展现出较强的泛化能力，尤其在困难样本上表现优异，但在某些推理类型（如'Match Flaws'和'Weaken'）上性能仍有限。
• 消融实验证实，上下文扩展与数据增强两个组件均独立地对整体性能提升有显著贡献。