[论文解读] ExplanationLP: Abductive Reasoning for Explainable Science Question Answering

Mokanarangan Thayaparan, Marco Valentino+1 more|arXiv (Cornell University)|Oct 25, 2020

Topic Modeling参考文献 32被引用 7

一句话总结

ExplanationLP 提出了一种新颖的归纳推理框架，用于可解释的科学问答任务，通过基于基础和抽象的推理链结构化解释。它使用带贝叶斯优化的线性规划来选择最优的事实子图，在复杂且需要长解释的问题上，以更少的参数实现了最先进的性能，并提升了鲁棒性，优于基于 Transformer 和图神经网络的基线模型。

ABSTRACT

We propose a novel approach for answering and explaining multiple-choice science questions by reasoning on grounding and abstract inference chains. This paper frames question answering as an abductive reasoning problem, constructing plausible explanations for each choice and then selecting the candidate with the best explanation as the final answer. Our system, ExplanationLP, elicits explanations by constructing a weighted graph of relevant facts for each candidate answer and extracting the facts that satisfy certain structural and semantic constraints. To extract the explanations, we employ a linear programming formalism designed to select the optimal subgraph. The graphs' weighting function is composed of a set of parameters, which we fine-tune to optimize answer selection performance. We carry out our experiments on the WorldTree and ARC-Challenge corpus to empirically demonstrate the following conclusions: (1) Grounding-Abstract inference chains provides the semantic control to perform explainable abductive reasoning (2) Efficiency and robustness in learning with a fewer number of parameters by outperforming contemporary explainable and transformer-based approaches in a similar setting (3) Generalisability by outperforming SOTA explainable approaches on general science question sets.

研究动机与目标

• 为解决当前基于 Transformer 的科学问答系统缺乏可解释性的问题。
• 通过基于基础和抽象的推理链建模语义控制，提升可解释科学问答的鲁棒性与泛化能力。
• 在保持或提升复杂多跳推理任务性能的同时，减少对大规模参数量的依赖。
• 通过显式的基础化与抽象化机制结构化解释，缓解多跳推理中的语义漂移问题。

提出的方法

• 该系统将科学问答任务建模为归纳推理，选择具有最佳解释的候选答案。
• 为每个候选答案构建加权事实图，将事实划分为基础类（将问题/答案中的术语与概念关联）和抽象类（核心科学原理）两类。
• 采用线性规划形式化方法，提取满足结构与语义约束的最优事实子图。
• 权重函数引入可学习参数，通过贝叶斯优化进行优化，以最大化答案选择的准确率。
• 该方法利用外部知识库进行事实检索，并通过两跳推理组合解释：基础事实将术语与概念连接，抽象事实提供科学原理。
• 在 WorldTree 和 ARC-Challenge 数据集上进行评估，采用准确率和解释长度鲁棒性等指标。

实验结果

研究问题

• RQ1 基于基础-抽象的推理链是否能在可解释的科学问答归纳推理中提供更优的语义控制？
• RQ2 基于线性规划的解释提取方法，即使参数量极少，是否仍能超越基于 Transformer 和图神经网络的方法？
• RQ3 与现有方法相比，ExplanationLP 在解释长度增加时性能退化程度如何？
• RQ4 答案选项之间的词汇重叠在多大程度上影响解释系统的鲁棒性？
• RQ5 该模型能否在多样化的一般科学问题集上实现有效泛化？

主要发现

• ExplanationLP 在一般科学问题集上超越了当前最先进的可解释方法，展现出更优的泛化能力。
• 该模型在解释长度不断增加的情况下保持稳定性能，其性能退化显著低于 PathNet 和 BERT，后者在长距离推理中易受语义漂移影响。
• 尽管依赖于词汇重叠，系统在答案选项间术语重叠增加时仍表现出极小的性能下降，表明对词汇噪声具有鲁棒性。
• 该模型以更少的可学习参数实现了可解释科学问答的 SOTA 结果，展现出高效性与鲁棒性。
• 基础-抽象链结构能有效减少语义漂移，使模型在复杂多跳场景中仍能实现可靠的归纳推理。
• 对线性规划目标进行贝叶斯优化，相比神经基线模型的端到端训练，实现了更高的参数效率与性能。