[论文解读] Behavior Analysis of NLI Models: Uncovering the Influence of Three Factors on Robustness

Vicente Iván Sánchez Carmona, Jeff Mitchell+1 more|arXiv (Cornell University)|May 11, 2018

Topic Modeling参考文献 24被引用 6

一句话总结

本文通过分析在受控输入变换下的表现，研究了三种预训练NLI模型——条件编码器、DAM和ESIM的鲁棒性。研究识别出导致鲁棒性下降的关键因素：对标签更改的不敏感性、对词极性偏见的依赖性，以及对未见反义词对泛化能力差。尽管在上下位词对上表现良好，这些模型在反义词对上的表现却较差。

ABSTRACT

Natural Language Inference is a challenging task that has received substantial attention, and state-of-the-art models now achieve impressive test set performance in the form of accuracy scores. Here, we go beyond this single evaluation metric to examine robustness to semantically-valid alterations to the input data. We identify three factors - insensitivity, polarity and unseen pairs - and compare their impact on three SNLI models under a variety of conditions. Our results demonstrate a number of strengths and weaknesses in the models' ability to generalise to new in-domain instances. In particular, while strong performance is possible on unseen hypernyms, unseen antonyms are more challenging for all the models. More generally, the models suffer from an insensitivity to certain small but semantically significant alterations, and are also often influenced by simple statistical correlations between words and training labels. Overall, we show that evaluations of NLI models can benefit from studying the influence of factors intrinsic to the models or found in the dataset used.

研究动机与目标

• 评估最先进NLI模型在标准准确率指标之外的鲁棒性。
• 研究内在模型行为和数据集层面因素如何影响模型对新域内实例的泛化能力。
• 识别并评估三个关键因素——不敏感性、极性偏见和未见词对——对模型预测的影响。
• 确定这些因素在不同NLI架构和数据变换中是否具有一致性。
• 提供一种基于受控输入扰动的行为分析框架，用于评估NLP模型。

提出的方法

• 作者通过对SNLI数据应用受控变换，通过在前提和假设之间交换词对来生成新实例。
• 在变换后的数据上评估模型性能，将预测结果与原始黄金标签进行比较，并分析偏差。
• 使用统计假设检验（卡方检验）评估三个因素的影响：不敏感性（标签更改）、极性（词对偏见）和未见词对。
• 通过区分原位、外部和变换后数据条件，隔离结构和语义变化的影响。
• 在具有不同程度语义相似性和标签一致性的子集上评估模型，以衡量其鲁棒性。
• 本研究借鉴行为科学方法论，系统分析模型行为，无需检查模型内部结构。

实验结果

研究问题

• RQ1 NLI模型对语义上有效但改变黄金标签的输入更改有多鲁棒？
• RQ2 模型在预测时在多大程度上依赖于词极性相关性？
• RQ3 模型能否泛化到未见词对，特别是上下位关系与反义关系之间？
• RQ4 所识别出的因素——不敏感性、极性和未见词对——是否系统性地影响不同架构下的模型行为？
• RQ5 结构变化与语义变化之间的相互作用如何导致模型性能下降？

主要发现

• 所有三种模型——CE、DAM和ESIM——在因输入变换导致黄金标签更改时均表现出显著性能下降，其中ESIM和CE在最严重变换的实例上甚至低于随机水平。
• 模型对标签更改表现出强烈不敏感性，在黄金标签被更改的约93%变换实例中仍预测原始标签，且卡方检验值极高（如ESIM：χ²=252.27），支持该发现。
• 模型预测与词对极性之间存在强烈相关性，所有模型均表现出统计显著依赖性（如DAM在E_H样本上：χ²=312.67），表明其依赖于这种统计偏见。
• 模型能很好地泛化到未见的上下位词对，表明其有效利用了预训练词嵌入来处理层级关系，但在未见反义词对上表现失败，表明其无法学习对称语义关系。
• ESIM模型在完整变换样本（E_TH）上表现出异常性能，无法仅通过单一因素解释，表明结构变化与变换之间存在复杂交互作用。
• DAM模型在变换实例上的表现优于原始样本，表明其行为模式不同，可能由于其注意力和编码机制在架构上的差异。