[论文解读] Do Neural Models Learn Systematicity of Monotonicity Inference in Natural Language?

Hitomi Yanaka, Koji Mineshima+2 more|arXiv (Cornell University)|Apr 30, 2020

Natural Language Processing Techniques参考文献 40被引用 5

一句话总结

本文评估神经模型在单调性推理中是否具备系统性泛化能力——具体而言，即在未见过的量词、谓词和嵌套从句组合中推断蕴含关系的能力。通过使用具有受控句法和语义变化的合成数据集，研究发现，当测试结构与训练结构高度相似时，模型才能泛化，而在轻微的结构变化下即告失败，表明其组合泛化能力有限，主要依赖记忆而非真正意义上的系统性推理。

ABSTRACT

Despite the success of language models using neural networks, it remains unclear to what extent neural models have the generalization ability to perform inferences. In this paper, we introduce a method for evaluating whether neural models can learn systematicity of monotonicity inference in natural language, namely, the regularity for performing arbitrary inferences with generalization on composition. We consider four aspects of monotonicity inferences and test whether the models can systematically interpret lexical and logical phenomena on different training/test splits. A series of experiments show that three neural models systematically draw inferences on unseen combinations of lexical and logical phenomena when the syntactic structures of the sentences are similar between the training and test sets. However, the performance of the models significantly decreases when the structures are slightly changed in the test set while retaining all vocabularies and constituents already appearing in the training set. This indicates that the generalization ability of neural models is limited to cases where the syntactic structures are nearly the same as those in the training set.

研究动机与目标

• 探究深度神经网络是否能够系统性地泛化自然语言中的单调性推理模式。
• 评估模型在未见过的量词、谓词和嵌套从句结构组合上的泛化能力。
• 分离句法结构与词汇和语义变化在泛化失败中的作用。
• 比较在合成数据与大规模NLI数据集（如MultiNLI）上训练的模型（例如BERT）的性能表现。
• 确定在合成单调性数据上进行预训练是否能在不损害标准基准测试性能的前提下提升泛化能力。

提出的方法

• 构建了一个受控数据集，系统性地改变量词、谓词和嵌套从句深度，以测试单调性推理能力。
• 设计了四个评估轴：谓词替换的系统性、量词的嵌入、从句深度上的生产力，以及局部性。
• 在合成数据上训练了三种神经模型（包括BERT），采用受控的训练/测试划分，仅改变句法结构。
• 通过测试包含训练中出现过词汇和成分但句法结构不同的未见组合来评估泛化能力。
• 将合成数据与MultiNLI混合，以评估在真实世界与合成推理模式之间性能的权衡。
• 以蕴含预测为主要任务，测量模型在未见句法配置下的准确率。

实验结果

研究问题

• RQ1 当句法结构保持不变时，神经模型能否在未见过的量词与谓词组合上系统性地泛化单调性推理？
• RQ2 当测试句与训练句具有完全相同的词汇和成分但句法结构略有不同时，性能会如何下降？
• RQ3 当模型在浅层嵌套从句（如深度2）上进行训练时，其在更深的嵌套从句（如深度3）上的泛化能力如何？
• RQ4 在合成单调性数据上进行预训练是否能提升泛化能力，同时不损害在标准NLI基准（如MultiNLI）上的性能？
• RQ5 模型是否依赖表面层面的启发式规则而非组合推理，特别是在下推蕴含（downward-entailing）情境下？

主要发现

• 模型仅在测试句的句法结构与训练集高度匹配时才能实现系统性泛化，在轻微结构变化下即告失败。
• 当测试句的成分顺序或从句嵌套深度与训练句不同时，即使词汇和成分完全相同，性能也显著下降。
• 没有任何模型能一致地泛化到比训练数据中更深一级的嵌套从句，表明其生产力泛化能力极差。
• 在合成单调性数据上微调的BERT在合成测试集上表现更优，同时在MultiNLI上保持了准确率，表明其具备双重能力。
• 在MultiNLI上，模型表现出启发式行为，尤其在下推蕴含推理中，错误地将未被前提蕴含的更长假设预测为蕴含。
• 结果表明，当前基于DNN的模型未能学习到真正的推理系统性，而是依赖记忆或表面模式。