[论文解读] Explainable Natural Language Reasoning via Conceptual Unification.

Marco Valentino, Mokanarangan Thayaparan+1 more|arXiv (Cornell University)|Sep 30, 2020

Topic Modeling参考文献 32被引用 5

一句话总结

本文提出了一种新颖的归谬推理框架，用于可解释的、多跳自然语言蕴含，采用概念统一方法。通过结合类比推理对解释性事实进行排序，以及利用归谬推理统一抽象概念，该模型在 Worldtree 和 ARC Challenge 数据集上实现了最先进性能，且无需进行答案预测的训练，显著提升了基于 Transformer 的解释提取效果。

ABSTRACT

This paper presents an abductive framework for multi-hop and interpretable textual inference. The reasoning process is guided by the notions unification power and plausibility of an explanation, computed through the interaction of two major architectural components: (a) An analogical reasoning model that ranks explanatory facts by leveraging unification patterns in a corpus of explanations; (b) An abductive reasoning model that performs a search for the best explanation, which is realised via conceptual abstraction and subsequent unification. We demonstrate that the Step-wise Conceptual Unification can be effective for unsupervised question answering, and as an explanation extractor in combination with state-of-the-art Transformers. An empirical evaluation on the Worldtree corpus and the ARC Challenge resulted in the following conclusions: (1) The question answering model outperforms competitive neural and multi-hop baselines without requiring any explicit training on answer prediction; (2) When used as an explanation extractor, the proposed model significantly improves the performance of Transformers, leading to state-of-the-art results on the Worldtree corpus; (3) Analogical and abductive reasoning are highly complementary for achieving sound explanatory inference, a feature that demonstrates the impact of the unification patterns on performance and interpretability.

研究动机与目标

• 开发一种可解释的、多跳推理框架，用于自然语言蕴含，支持归谬推理和类比推理。
• 通过利用解释中的统一模式，提升神经模型在问答任务中的可解释性和性能。
• 实现在无需显式答案预测训练情况下的无监督问答和解释提取。
• 探究类比推理与归谬推理在实现稳健、可解释推理中的互补作用。

提出的方法

• 该框架采用类比推理模型，基于从解释语料库中学习到的统一模式，对解释性事实进行排序。
• 归谬推理模型对事实进行概念抽象，并通过抽象概念的统一寻找最佳解释。
• 通过类比与归谬组件之间的交互，计算统一能力与解释的可信度。
• 该方法使用无监督推理生成解释，并与最先进 Transformer 模型集成作为解释提取器。
• 概念抽象使模型能够通过聚焦语义统一，泛化于多样化的推理路径。
• 系统在无需对答案预测进行微调的情况下运行，完全依赖基于统一的推理与语料库模式。

实验结果

研究问题

• RQ1 在无需对答案预测进行显式训练的情况下，解释语料库中的概念统一模式是否能提升多跳推理性能？
• RQ2 类比推理与归谬推理的结合在实现文本蕴含任务中高性能与可解释性方面有多高效？
• RQ3 通过统一实现的无监督推理在多大程度上能增强预训练 Transformer 的解释提取能力？
• RQ4 统一能力与可信度对生成解释的质量与可靠性有何影响？

主要发现

• 该问答模型在 Worldtree 和 ARC Challenge 数据集上优于竞争性的神经网络与多跳基线模型，且未进行任何答案预测的训练。
• 当用作解释提取器时，该模型显著提升了最先进 Transformer 模型的性能，在 Worldtree 语料库上实现了最先进结果。
• 类比与归谬推理的结合展现出强烈的互补性，同时提升了推理质量与可解释性。
• 解释之间统一模式在引导有效且可信的推理中起着关键作用，直接影响模型性能。
• 该模型通过利用语料级统一模式而非任务特定微调，实现了强大的无监督推理性能。
• 归谬推理组件通过概念抽象与统一，有效识别出最佳解释，提升了泛化能力与可解释性。