[论文解读] LOREN: Logic Enhanced Neural Reasoning for Fact Verification.

Jiangjie Chen, Qiaoben Bao+5 more|arXiv (Cornell University)|Dec 25, 2020

Topic Modeling参考文献 34被引用 4

一句话总结

LOREN 提出了一种增强逻辑的神经事实验证模型，该模型将陈述分解为逻辑推理单元，将每个单元作为问答任务处理，利用神经嵌入进行推理，并通过逻辑引导的联合推理器聚合预测结果。该方法在 FEVER 基准上取得了 73.43% 的得分，优于先前方法，且通过中间推理轨迹提升了可解释性。

ABSTRACT

Given a natural language statement, how to verify whether it is supported, refuted, or unknown according to a large-scale knowledge source like Wikipedia? Existing neural-network-based methods often regard a sentence as a whole. While we argue that it is beneficial to decompose a statement into multiple verifiable logical points. In this paper, we propose LOREN, a novel approach for fact verification that integrates both Logic guided Reasoning and Neural inference. The key insight of LOREN is that it decomposes a statement into multiple reasoning units around the central phrases. Instead of directly validating a single reasoning unit, LOREN turns it into a question-answering task and calculates the confidence of every single hypothesis using neural networks in the embedding space. They are aggregated to make a final prediction using a neural joint reasoner guided by a set of three-valued logic rules. LOREN enjoys the additional merit of interpretability -- it is easy to explain how it reaches certain results with intermediate results and why it makes mistakes. We evaluate LOREN on FEVER, a public benchmark for fact verification. Experiments show that our proposed LOREN outperforms other previously published methods and achieves 73.43% of the FEVER score.

研究动机与目标

• 通过将自然语言陈述分解为以关键词为中心的更小、可验证的逻辑单元，提升事实验证性能。
• 解决现有神经方法将整个陈述视为单一单元而缺乏可解释性的局限。
• 将符号逻辑规则与神经推理相结合，实现更稳健且可解释的预测。
• 通过暴露中间推理步骤实现模型可解释性，使用户能够追踪推理过程并诊断错误。
• 在保持逻辑一致性和透明性的同时，实现在 FEVER 基准上的最先进性能。

提出的方法

• LOREN 基于核心短语将给定陈述分解为多个推理单元，以隔离可验证的主张。
• 每个推理单元被转化为一个问答任务，神经网络在嵌入空间中计算置信度分数。
• 一个神经联合推理器使用一组三值逻辑规则（支持、反驳、未知）聚合个体假设的预测结果。
• 逻辑规则引导聚合过程，确保在多个主张之间保持一致性和逻辑连贯性。
• 该模型利用预训练的句子嵌入来编码陈述和证据，实现有效的相似性与置信度评分。
• 中间预测结果被暴露，以提供可解释性，使用户能够追踪推理过程并诊断错误。

实验结果

研究问题

• RQ1 将自然语言陈述分解为更小的逻辑单元是否能提升事实验证性能？
• RQ2 将神经推理与符号逻辑规则结合，在提升预测准确性和鲁棒性方面效果如何？
• RQ3 与端到端神经模型相比，该方法在可解释性方面提升了多少？
• RQ4 该模型能否在 FEVER 基准上实现泛化，同时保持高准确率和逻辑一致性？
• RQ5 中间推理步骤在识别和解释模型错误方面发挥什么作用？

主要发现

• LOREN 在 FEVER 基准上取得了 73.43% 的得分，优于此前发表的模型。
• 将陈述分解为逻辑单元，使得主张的验证更加准确且粒度更细。
• 将三值逻辑规则与神经置信度分数结合，提升了预测的一致性并减少了错误分类。
• 模型的中间推理轨迹为预测提供了清晰解释，增强了可解释性与错误诊断能力。
• 该方法表明，将神经推理与符号逻辑结合，相比纯神经方法，能实现更优的性能与透明度。