[论文解读] Breaking NLI Systems with Sentences that Require Simple Lexical Inferences

Max Glockner, Vered Shwartz+1 more|arXiv (Cornell University)|May 6, 2018

Topic Modeling参考文献 13被引用 8

一句话总结

本文提出了一种新的NLI测试集，揭示了当前最先进神经模型在处理简单词汇推理时泛化能力有限的问题。通过构建仅有一个词不同的最小扰动句子对（例如'saxophone'与'electric guitar'），作者表明，基于SNLI训练的模型在准确率上出现显著下降（11至33个百分点），暴露出其依赖数据集特定模式而非真正词汇推理能力的问题，即使所有词汇均已进入预训练嵌入向量。

ABSTRACT

We create a new NLI test set that shows the deficiency of state-of-the-art models in inferences that require lexical and world knowledge. The new examples are simpler than the SNLI test set, containing sentences that differ by at most one word from sentences in the training set. Yet, the performance on the new test set is substantially worse across systems trained on SNLI, demonstrating that these systems are limited in their generalization ability, failing to capture many simple inferences.

研究动机与目标

• 评估最先进NLI模型是否能够超越训练数据泛化以执行简单的词汇推理。
• 探究在SNLI上训练的模型是否未能捕捉到基本的词汇知识，如上下位关系和同级关系。
• 确定在最小扰动下性能下降的原因是否源于词汇知识的缺乏或数据稀疏性。
• 开发一个基准测试集，将词汇推理能力与复杂语义或OOV（未登录词）问题分离。

提出的方法

• 构建一个测试集，其中句子对仅在一个词上不同，且该变化需要简单的词汇推理（例如，'saxophone'→'electric guitar'用于同级关系测试）。
• 确保测试集中所有词汇均出现在SNLI训练数据和预训练词嵌入中，以隔离词汇知识与词汇或分布偏移的影响。
• 设计示例以测试特定词汇关系：上下位关系（如'wine'→'champagne'）、同级关系（如'saxophone'→'guitar'）和反义关系（如'happy'→'sad'）。
• 在SNLI、SNLI+MultiNLI和SNLI+SciTail上训练多种神经NLI模型（如ESIM、Decomposable Attention、KIM），以评估数据依赖性。
• 按词类、矛盾词对的余弦相似度以及训练数据中替换词对的频率分析模型性能。
• 比较使用和不使用外部词汇知识（如WordNet增强的KIM）的模型性能，以隔离词汇资源的影响。

实验结果

研究问题

• RQ1 最先进NLI模型是否能够泛化到需要简单推理的最小词汇扰动，即使所有词汇均已进入预训练嵌入？
• RQ2 为何在SNLI上训练的模型在新测试集上表现不佳，而该测试集更简单且仅使用已知词汇？
• RQ3 性能在多大程度上取决于训练数据中特定词对的频率？
• RQ4 矛盾词对在嵌入空间中的语义相似度（余弦相似度）如何影响模型预测准确率？
• RQ5 外部词汇知识（如来自WordNet）是否能显著提升词汇推理任务的性能，还是增益可忽略？

主要发现

• 在SNLI上训练的模型在新测试集上表现出11至33个百分点的显著性能下降，尽管测试集本身简单且仅使用已知词汇。
• 性能与训练数据中替换词对的频率强相关：在矛盾示例中出现100次以上的词对，模型准确率达98.5%；从未出现过的词对，准确率仅为40.2%。
• 经过微调嵌入的模型在罕见词汇对上的表现显著更优，表明当数据充足时，模型能够学习词汇知识。
• 使用固定嵌入的模型（如Decomposable Attention）在嵌入空间中余弦相似度较高的词对上表现最差，表明其难以处理语义接近但矛盾的术语。
• WordNet增强的KIM模型优于其他神经模型，但仍存在改进空间，表明其在词汇知识覆盖范围和上下文应用方面存在局限。
• 在训练数据中加入MultiNLI比加入SciTail更能提升性能，表明领域差异和数据分布差异会影响词汇知识的迁移能力。