[论文解读] e-SNLI: Natural Language Inference with Natural Language Explanations
该论文在 SNLI 的基础上扩展了自然语言解释（e-SNLI），并展示了如何利用解释来训练模型、生成辩解、改进普遍句子表示，以及迁移到域外的 NLI 数据集。
In order for machine learning to garner widespread public adoption, models must be able to provide interpretable and robust explanations for their decisions, as well as learn from human-provided explanations at train time. In this work, we extend the Stanford Natural Language Inference dataset with an additional layer of human-annotated natural language explanations of the entailment relations. We further implement models that incorporate these explanations into their training process and output them at test time. We show how our corpus of explanations, which we call e-SNLI, can be used for various goals, such as obtaining full sentence justifications of a model's decisions, improving universal sentence representations and transferring to out-of-domain NLI datasets. Our dataset thus opens up a range of research directions for using natural language explanations, both for improving models and for asserting their trust.
研究动机与目标
- 推动使用自由形式的自然语言解释，以提升模型的可解释性和鲁棒性。
- 创建一个与 SNLI 标签对齐的大规模解释语料库（e-SNLI）。
- 研究如何在训练过程中使用解释来增强句子表示并迁移到新领域。
提出的方法
- 使用受限提示和两步注释收集一个大型、众包的 SNLI 前提–假设对解释语料库。
- 通过在 InferSent 框架中加入解释解码器，将解释整合到神经模型中。
- 训练模型以同时预测标签并生成解释（PredictAndExplain），以及先生成解释再预测标签（ExplainThenPredict）。
- 通过迁移任务（SentEval）评估解释是否提升普遍句子表示。
- 在不进行微调的情况下评估对 SICK-E 和 MultiNLI 的跨域迁移性能。
实验结果
研究问题
- RQ1是否能为 SNLI 对可靠地收集自由形式的自然语言解释？
- RQ2解释是否提供额外的监督信号，提升标签预测和句子表示？
- RQ3模型是否能够生成能够为其预测提供合理依据的连贯解释？
- RQ4解释是否帮助模型更好地迁移到域外的 NLI 数据集？
主要发现
- 具备解释意识的模型能够在不牺牲标签准确性的情况下基于预测标签生成辩解（e-InferSent 的测试准确率为 83.96%，而基线为 84.01%）。
- 在 PredictAndExplain 设定下，解释解码器在测试集上的困惑度为 10.58，BLEU 为 22.40，能够生成合理的解释。
- 使用带注意力的 ExplainThenPredict 产生更高质量的解释（对手动子集的正确解释占 64.27%），但标签准确度有所下降（81.71%）。
- 与 InferSent 基线相比，在若干指标上，使用解释进行训练在下游任务上改善了普遍句子表示（e-InferSent 在多个任务上显示显著提升）。
- 对 SICK-E 和 MultiNLI 的直接迁移（不进行微调）显示出小的准确度变化，解释提供了对模型行为的定性洞见，而非域外标签准确度的显著提升。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。