[论文解读] LIREx: Augmenting Language Inference with Relevant Explanation

Xinyan Zhao, V. G. Vinod Vydiswaran|arXiv (Cornell University)|Dec 16, 2020

Topic Modeling参考文献 20被引用 13

一句话总结

LIREx 提出了一种新颖的框架，通过整合基于理由的解释生成与实例选择器，仅筛选出相关且可信的解释，从而在 SNLI 上实现 91.87% 的准确率——达到当前最先进水平，并在未进行微调的情况下优于先前方法在跨域 MultiNLI 上的表现。

ABSTRACT

Natural language explanations (NLEs) are a special form of data annotation in which annotators identify rationales (most significant text tokens) when assigning labels to data instances, and write out explanations for the labels in natural language based on the rationales. NLEs have been shown to capture human reasoning better, but not as beneficial for natural language inference (NLI). In this paper, we analyze two primary flaws in the way NLEs are currently used to train explanation generators for language inference tasks. We find that the explanation generators do not take into account the variability inherent in human explanation of labels, and that the current explanation generation models generate spurious explanations. To overcome these limitations, we propose a novel framework, LIREx, that incorporates both a rationale-enabled explanation generator and an instance selector to select only relevant, plausible NLEs to augment NLI models. When evaluated on the standardized SNLI data set, LIREx achieved an accuracy of 91.87%, an improvement of 0.32 over the baseline and matching the best-reported performance on the data set. It also achieves significantly better performance than previous studies when transferred to the out-of-domain MultiNLI data set. Qualitative analysis shows that LIREx generates flexible, faithful, and relevant NLEs that allow the model to be more robust to spurious explanations. The code is available at https://github.com/zhaoxy92/LIREx.

研究动机与目标

• 解决现有基于自然语言解释（NLE）的 NLI 模型无法考虑人类推理差异性、并生成虚假解释的局限性。
• 通过仅在 NLI 训练中引入高质量、相关解释，提升模型的鲁棒性与可信度。
• 通过使生成的解释与人工标注的理由对齐，增强 NLI 的可解释性与性能。
• 证明基于理由的解释生成可实现与人类推理更好的对齐，并提升模型在跨域数据上的泛化能力。

提出的方法

• 开发一种基于理由的解释生成器，为每个前提-假设对生成基于特定预测理由（关键文本标记）的解释。
• 引入实例选择器，根据与理由和标签的一致性及连贯性，过滤掉不切实际或虚假的解释。
• 使用前提-假设对以及筛选后的高质量自然语言解释作为上下文输入，联合训练 NLI 模型。
• 采用两阶段流程：首先预测理由并生成多个候选解释；其次，通过相关性评分机制仅选择最相关且可信的解释。
• 利用预训练语言模型（如 RoBERTa）进行解释生成与 NLI 推理，且在 SNLI 和 MultiNLI 上进行微调。
• 通过移除解释时的性能下降（全面性）或单独使用解释时的性能下降（充分性）进行可信度评估，确认模型依赖于解释。

实验结果

研究问题

• RQ1 与标准解释生成相比，基于理由的解释生成是否能提升 NLI 模型的性能与鲁棒性？
• RQ2 当前基于 NLE 的 NLI 模型在多大程度上受到虚假解释的影响，从而降低性能？
• RQ3 基于理由的解释生成器在多大程度上能与人工标注的理由对齐，并生成与人类推理一致的解释？
• RQ4 通过实例选择器过滤掉不切实际的解释，是否能提升模型在跨域 NLI 基准（如 MultiNLI）上的泛化能力？
• RQ5 在不牺牲准确率的前提下，包含相关且可信的解释是否能提升模型的可解释性？

主要发现

• LIREx 在 SNLI 验证集上达到 91.87% 的准确率，较基线模型提升 0.32 个百分点，与该基准上最佳报告性能持平。
• 在跨域的 MultiNLI 测试集上，LIREx 在未进行微调的情况下显著优于先前方法，展现出强大的零样本泛化能力。
• 人工评估显示，LIREx 在 MNLI-M 和 MNLI-Mis 上生成的解释与预测理由的相关性达 95%，而 NILE 仅为 84%，表明其与人类推理的对齐性更优。
• 可信度分析确认，模型在预测时同时依赖前提-假设对与解释，当移除解释时性能出现显著下降。
• 模型对虚假解释具有鲁棒性，实例选择器能有效过滤掉与常识推理相悖的低质量解释。
• 相关性评估显示，人工判断的一致性高达 0.95，验证了用于评估解释质量的人工判断协议的可靠性。