[论文解读] Case-Based Abductive Natural Language Inference

Marco Valentino, Mokanarangan Thayaparan+1 more|arXiv (Cornell University)|Sep 30, 2020

Topic Modeling参考文献 40被引用 4

一句话总结

本文提出了一种基于案例的归纳自然语言蕴涵（CB-ANLI）新框架，该框架利用基于案例的推理（CBR）技术，通过检索、复用和优化与过去相似案例的解释，来提升多跳归纳自然语言蕴涵的性能。该方法通过利用先前解决方案对推理过程进行约束，减少了语义漂移，增强了鲁棒性和准确性，尤其在具有挑战性的解释任务中表现更优，当与预训练编码器结合时，其在常识推理和科学推理任务中的表现优于孤立的解释生成方法。

ABSTRACT

Most of the contemporary approaches for multi-hop Natural Language Inference (NLI) construct explanations considering each test case in isolation. However, this paradigm is known to suffer from semantic drift, a phenomenon that causes the construction of spurious explanations leading to wrong conclusions. In contrast, this paper proposes an abductive framework for multi-hop NLI exploring the retrieve-reuse-refine paradigm in Case-Based Reasoning (CBR). Specifically, we present Case-Based Abductive Natural Language Inference (CB-ANLI), a model that addresses unseen inference problems by analogical transfer of prior explanations from similar examples. We empirically evaluate the abductive framework on commonsense and scientific question answering tasks, demonstrating that CB-ANLI can be effectively integrated with sparse and dense pre-trained encoders to improve multi-hop inference, or adopted as an evidence retriever for Transformers. Moreover, an empirical analysis of semantic drift reveals that the CBR paradigm boosts the quality of the most challenging explanations, a feature that has a direct impact on robustness and accuracy in downstream inference tasks.

研究动机与目标

• 为解决在归纳多跳 NLI 中因孤立解释生成导致虚假推理链而引发的语义漂移问题。
• 探究通过基于案例的推理（CBR）实现先前解释的类比迁移，是否能够提升生成解释的质量与鲁棒性，以应对抽象化 NLI 任务。
• 证明 CBR 的检索-复用-优化范式能够增强在具有挑战性的推理问题上的性能，尤其是在解释抽象且词汇重叠度低的情况下。
• 评估 CB-ANLI 与稀疏和密集预训练编码器的集成效果，以及其作为 Transformer 模型证据检索器的有效性。
• 通过实证分析，探究 CBR 如何缓解语义漂移并提升下游推理的准确性。

提出的方法

• 该框架采用 CBR 的检索-复用-优化范式：对于一个新的假设，基于假设和解释的语义相似度，检索最相似的过去案例。
• 将检索到的最相似案例中的解释作为构建当前假设新解释的起点。
• 在优化阶段，通过上下文感知的句子编码器和抽象化机制，将检索到的解释与新假设对齐，以处理语义差异。
• 根据生成解释的质量对每个假设进行评分，选择由最佳解释支持的假设。
• 该方法与稀疏（如 BM25）和密集（如 BERT）预训练编码器集成，用于检索和编码，从而实现与下游 Transformer 模型的兼容性。
• 通过受约束的生成过程生成解释，利用先前解决方案的结构和内容，避免产生虚假的推理链。

实验结果

研究问题

• RQ1 基于案例的推理范式是否能通过利用先前解决方案约束解释生成，从而减少归纳多跳 NLI 中的语义漂移？
• RQ2 复用并优化来自相似过去案例的解释，是否能提升在具有挑战性的抽象推理问题上的解释质量与准确性？
• RQ3 在常识推理和科学推理任务中，CB-ANLI 与孤立的解释生成方法相比，在鲁棒性和性能方面表现如何？
• RQ4 CB-ANLI 与预训练句子编码器及下游 Transformer 模型的集成程度如何？
• RQ5 CBR 框架是否特别提升了最困难推理案例的解释质量？

主要发现

• CB-ANLI 通过利用先前解决方案显著减少了语义漂移，尤其在最具挑战性的推理问题上，大幅提升了解释质量。
• 当与稀疏和密集预训练编码器结合时，该模型在常识推理和科学推理任务中均表现出强劲性能。
• 实证结果表明，CBR 范式提升了解释质量，从而改善了下游推理的准确性和鲁棒性。
• CB-ANLI 通过有效约束搜索空间，利用解释的类比迁移，优于现有的归纳和多跳 NLI 方法。
• 该框架在作为 Transformer 的证据检索器方面表现出有效性，通过检索并优化后的解释，增强了其推理能力。
• 消融实验确认，检索-复用-优化循环对性能至关重要，其中复用和优化阶段在缓解虚假推理方面尤为有效。