[论文解读] Fact-driven Logical Reasoning.

Siru Ouyang, Zhuosheng Zhang+1 more|arXiv (Cornell University)|May 21, 2021

Topic Modeling参考文献 40被引用 9

一句话总结

本文提出 Focal Reasoner，一种以事实为驱动的逻辑推理框架，将句子建模为主语-谓语-宾语事实单元，以捕捉局部与全局知识。通过从这些单元构建超图并整合问题-选项交互，该方法在 ReClor 和 LogiQA 上实现了最先进性能，显著优于先前方法。

ABSTRACT

Logical reasoning, which is closely related to human cognition, is of vital importance in human's understanding of texts. Recent years have witnessed increasing attentions on machine's logical reasoning abilities. However, previous studies commonly apply ad-hoc methods to model pre-defined relation patterns, such as linking named entities, which only considers global knowledge components that are related to commonsense, without local perception of complete facts or events. Such methodology is obviously insufficient to deal with complicated logical structures. Therefore, we argue that the natural logic units would be the group of backbone constituents of the sentence such as the subject-verb-object formed facts, covering both global and local knowledge pieces that are necessary as the basis for logical reasoning. Beyond building the ad-hoc graphs, we propose a more general and convenient fact-driven approach to construct a supergraph on top of our newly defined fact units, and enhance the supergraph with further explicit guidance of local question and option interactions. Experiments on two challenging logical reasoning benchmark datasets, ReClor and LogiQA, show that our proposed model, extsc{Focal Reasoner}, outperforms the baseline models dramatically. It can also be smoothly applied to other downstream tasks such as MuTual, a dialogue reasoning dataset, achieving competitive results.

研究动机与目标

• 解决现有方法依赖临时关系模式且忽略局部事实级感知的局限性。
• 克服仅依赖全局知识的方法在建模复杂逻辑结构方面的不足。
• 提出一种通用且灵活的框架，统一局部事实单元与全局推理组件。
• 通过显式建模问题、选项与事实级表征之间的交互，增强推理能力。
• 实现对多样化下游推理任务的广泛适用性，超越专用基准。

提出的方法

• 将基本逻辑单元定义为“主语-谓语-宾语”三元组，以表示句子中的完整事实。
• 通过聚合输入文本中的事实单元，构建超图，形成全面的推理结构。
• 通过注意力机制将局部问题和选项表征整合到超图中，以引导推理过程。
• 通过显式建模问题/选项与事实单元之间的交互，优化推理路径。
• 利用逻辑推理数据集中的监督信号，端到端训练模型。
• 通过复用相同的基于事实的超图构建方式，将该框架适配至其他任务（如 MuTual）。

实验结果

研究问题

• RQ1 将句子建模为主-谓-宾事实单元是否能超越临时关系模式，在逻辑推理上实现性能提升？
• RQ2 将局部问题与选项交互整合到基于事实的超图中，是否能提升推理性能？
• RQ3 所提出的以事实为驱动的方法在多样化逻辑推理基准上是否具备良好泛化能力？
• RQ4 该框架在非专用推理任务（如对话理解）中可扩展到何种程度？
• RQ5 在复杂推理中，局部事实感知与全局知识利用的相对贡献分别是什么？

主要发现

• Focal Reasoner 在 ReClor 基准上实现了最先进性能，显著优于现有模型。
• 该模型在 LogiQA 数据集上显著提升结果，展现出在复杂逻辑推理任务中的强大泛化能力。
• 以事实为驱动的超图构建方式，相比以往的临时图方法，能更好地建模复杂的逻辑依赖关系。
• 问题-选项交互的显式整合，带来了推理准确率的可测量提升。
• 该框架在 MuTual（一个对话推理数据集）上也取得了具有竞争力的结果，表明其具备强大的迁移能力。
• 该方法有效平衡了局部事实感知与全局知识利用，从而实现更优的推理结果。