[论文解读] Logic-Guided Data Augmentation and Regularization for Consistent Question Answering

Akari Asai, Hannaneh Hajishirzi|arXiv (Cornell University)|Apr 21, 2020

Topic Modeling参考文献 30被引用 5

一句话总结

该论文提出了一种基于逻辑引导的数据增强与基于一致性的正则化框架，以提升问答模型在比较类问题上的准确率与全局一致性。通过将符号逻辑规则与神经网络模型结合，该方法生成语义一致的训练数据，并在训练过程中施加逻辑约束，实现了在 WIQA 和 QuaRel 上 4.7–8.4% 的绝对准确率提升，达到当前最优性能，同时在 HotpotQA 上将一致性违规减少 58%，即使仅使用 20% 的标注数据亦能实现。

ABSTRACT

Many natural language questions require qualitative, quantitative or logical comparisons between two entities or events. This paper addresses the problem of improving the accuracy and consistency of responses to comparison questions by integrating logic rules and neural models. Our method leverages logical and linguistic knowledge to augment labeled training data and then uses a consistency-based regularizer to train the model. Improving the global consistency of predictions, our approach achieves large improvements over previous methods in a variety of question answering (QA) tasks including multiple-choice qualitative reasoning, cause-effect reasoning, and extractive machine reading comprehension. In particular, our method significantly improves the performance of RoBERTa-based models by 1-5% across datasets. We advance the state of the art by around 5-8% on WIQA and QuaRel and reduce consistency violations by 58% on HotpotQA. We further demonstrate that our approach can learn effectively from limited data.

研究动机与目标

• 为解决神经网络问答模型在比较类问题上预测不一致的挑战，特别是需要逻辑推理的问题。
• 通过将符号知识融入数据增强与训练过程，提升模型在低资源设置下的泛化能力与鲁棒性。
• 通过正则化手段强制逻辑一致性，减少现有问答数据集中对统计特征与标注偏见的依赖。
• 推动在需定性、因果与抽取式推理的多样化问答基准上的最先进性能。

提出的方法

• 利用一阶逻辑规则——特别是对称性与传递性一致性——通过数据增强生成更多逻辑一致的训练样本。
• 采用 WordNet 的改写技术实现语言多样性，同时保持逻辑结构不变，确保增强样本的语义有效性。
• 提出一种基于一致性的正则化损失函数，在训练过程中惩罚违反对称性与传递性逻辑规则的模型预测。
• 采用模型无关的框架，结合逻辑引导的数据增强与可微分正则化，支持在多种问答格式中的应用。
• 采用联合训练目标，将标准交叉熵损失与逻辑不一致惩罚项相结合，促进全局一致的预测。
• 通过适配不同任务的结构，支持多种问答格式，包括分类、多选题与跨度抽取任务。

实验结果

研究问题

• RQ1 基于逻辑引导的数据增强是否能提升神经网络问答模型在比较类问题上的准确率与一致性？
• RQ2 基于一致性的正则化在减少多种问答数据集中的预测不一致性方面有多有效？
• RQ3 在仅使用 20% 标注数据的低资源设置下，该方法的性能提升程度如何？
• RQ4 整合符号逻辑是否能减少模型对训练数据中虚假统计模式的依赖？
• RQ5 所提出的方法是否能在不同问答任务格式间实现良好泛化，包括因果推理、定性比较与抽取式阅读理解？

主要发现

• 在 QuaRel 上，该方法相较 RoBERTa 模型实现了 5.0% 的绝对准确率提升，将最先进性能提升了 8.4%。
• 在 WIQA 上，该方法相较先前最先进模型准确率提升 4.7%，在 HotpotQA 上将一致性违规减少 58%。
• 仅使用 20% 的标注数据，该方法性能与在完整数据集上训练的 RoBERTa 基线模型相当，展现出强大的数据效率。
• 数据增强与正则化相结合的策略表现最佳，优于单独使用任一组件。
• 在 WIQA 上，对称性一致性违规从 13.9% 降低至 8.3%，传递性违规从 10.0% 降低至 2.5%，证实了逻辑一致性的显著提升。
• 定性分析表明，模型能更好地区分相反答案选项，并在模糊情况下对正确答案赋予更高置信度。