[论文解读] HypoNLI: Exploring the Artificial Patterns of Hypothesis-only Bias in Natural Language Inference

Tianyu Liu, Xin Zheng+2 more|arXiv (Cornell University)|Mar 5, 2020

Topic Modeling参考文献 2被引用 11

一句话总结

本文提出HypoNLI框架，用于研究并缓解自然语言蕴涵（NLI）中的仅假设偏差，即模型依赖于假设中的人工模式而非前提-假设推理。通过提取与标签强相关的虚假短语模式（例如，'video games' → 矛盾），作者构建了对抗性测试集，包含难以分辨的（与模式相反）和容易的（与模式一致）样本，结果显示，如BERT和RoBERTa等模型在容易集上的准确率超过95%，但在困难集上低于60%，揭示了其对表面线索的强烈依赖。

ABSTRACT

Many recent studies have shown that for models trained on datasets for natural language inference (NLI), it is possible to make correct predictions by merely looking at the hypothesis while completely ignoring the premise. In this work, we manage to derive adversarial examples in terms of the hypothesis-only bias and explore eligible ways to mitigate such bias. Specifically, we extract various phrases from the hypotheses (artificial patterns) in the training sets, and show that they have been strong indicators to the specific labels. We then figure out `hard' and `easy' instances from the original test sets whose labels are opposite to or consistent with those indications. We also set up baselines including both pretrained models (BERT, RoBERTa, XLNet) and competitive non-pretrained models (InferSent, DAM, ESIM). Apart from the benchmark and baselines, we also investigate two debiasing approaches which exploit the artificial pattern modeling to mitigate such hypothesis-only bias: down-sampling and adversarial training. We believe those methods can be treated as competitive baselines in NLI debiasing tasks.

研究动机与目标

• 调查NLI模型在多大程度上依赖于假设中的人工模式而非前提-假设推理。
• 识别并提取训练数据中与特定标签强相关联的虚假短语模式（例如，'video games' → 矛盾）。
• 基于这些模式构建对抗性测试集——'困难'样本（与人工模式矛盾）和'容易'样本（与模式一致）。
• 评估容易集与困难集之间的性能差距，以量化模型对仅假设偏差的依赖程度。
• 评估如降采样和对抗性训练等去偏策略在减少对人工模式依赖方面的有效性。

提出的方法

• 从SNLI和MultiNLI训练集中提取假设中的频繁多词和单字模式，并计算其条件概率p(标签|模式)。
• 基于提取的模式，将测试样本划分为'容易'（真实标签与模式指示一致）和'困难'（真实标签与模式指示相反）子集。
• 在容易集和困难集上训练并评估多种NLI模型（包括BERT、RoBERTa、XLNet、InferSent、DAM和ESIM），以测量性能差异。
• 应用两种去偏技术：对有偏见的训练样本进行降采样，以及使用扰动后的假设进行对抗性训练，以减少模型对人工模式的依赖。
• 利用模式-标签条件概率识别最具指示性的短语（例如，'Nobody'在SNLI中预测矛盾的概率为99.7%），并验证其对模型预测的影响。
• 比较模型在容易集与困难集上的表现，以量化仅假设偏差的程度，准确率下降表明模型对这种偏差的脆弱性。

实验结果

研究问题

• RQ1 在SNLI和MultiNLI中，假设中哪些人工短语模式与特定NLI标签强相关？
• RQ2 最先进NLI模型在多大程度上依赖于这些人工模式而非前提-假设推理？
• RQ3 模型在容易（模式一致）和困难（模式矛盾）测试样本上的性能与泛化能力有何差异？
• RQ4 降采样和对抗性训练能否有效减少NLI模型中的仅假设偏差？
• RQ5 不同模型架构（预训练与非预训练）在对仅假设偏差的敏感性上有何差异？

主要发现

• 假设中的人工模式如'Nobody'和'video games'与特定标签表现出极高的相关性——例如，'Nobody'在SNLI中预测矛盾的准确率达99.7%。
• 如InferSent等模型在容易样本（模式一致）上的准确率超过95%，但在困难样本（模式矛盾）上的准确率低于60%，表明其对人工线索的强烈依赖。
• 即使先进的模型如BERT、RoBERTa和XLNet在困难集上也表现出显著的性能下降，表明尽管模型结构复杂，仍易受仅假设偏差影响。
• 去偏方法如降采样和对抗性训练有效缩小了容易集与困难集之间的性能差距，证明了其在缓解对人工模式依赖方面的有效性。
• 容易集与困难集之间的性能差异是模型过度拟合表面模式而非真实文本蕴涵推理的有力指标。
• 本研究揭示，基于标准NLI数据集训练的模型可能被高估了其鲁棒性，因为它们利用的是标注中的瑕疵而非学习可泛化的推理模式。