[论文解读] Diversify Your Datasets: Analyzing Generalization via Controlled Variance in Adversarial Datasets

Ohad Rozen, Vered Shwartz+2 more|arXiv (Cornell University)|Oct 21, 2019

Machine Learning in Materials Science参考文献 25被引用 4

一句话总结

本文提出了一种受控方差方法，用于评估NLP模型是否在诸如与格交替和数值推理等语言现象上实现泛化，而非仅对特定对抗性数据集过拟合。通过系统性地改变训练集和测试集中的句法复杂度与词汇多样性（例如数字范围），作者表明基于BERT的模型在不同句法结构或数字范围之间无法实现泛化，揭示了模型在数据集盲区之外的固有弱点。

ABSTRACT

Phenomenon-specific "adversarial" datasets have been recently designed to perform targeted stress-tests for particular inference types. Recent work (Liu et al., 2019a) proposed that such datasets can be utilized for training NLI and other types of models, often allowing to learn the phenomenon in focus and improve on the challenge dataset, indicating a "blind spot" in the original training data. Yet, although a model can improve in such a training process, it might still be vulnerable to other challenge datasets targeting the same phenomenon but drawn from a different distribution, such as having a different syntactic complexity level. In this work, we extend this method to drive conclusions about a model's ability to learn and generalize a target phenomenon rather than to "learn" a dataset, by controlling additional aspects in the adversarial datasets. We demonstrate our approach on two inference phenomena - dative alternation and numerical reasoning, elaborating, and in some cases contradicting, the results of Liu et al.. Our methodology enables building better challenge datasets for creating more robust models, and may yield better model understanding and subsequent overarching improvements.

研究动机与目标

• 评估神经网络NLP模型是否在语言现象上实现泛化，而非仅对特定对抗性数据集过拟合。
• 通过控制句法复杂度和词汇多样性等语言维度的方差，扩展Liu等人（2019a）的免疫化方法。
• 确定在挑战性数据集上的模型改进是否反映对现象的真实学习，还是仅对特定分布的模式记忆。
• 为特定推理现象设计更稳健、更具泛化能力的训练数据提供指导。
• 识别即使在针对现象特定数据进行微调后仍持续存在的模型内在弱点。

提出的方法

• 作者使用模板化方法生成合成对抗性数据集，以控制句法复杂度和词汇多样性（例如数字范围）等语言维度的方差。
• 他们在具有受控方差的训练集上微调基于BERT的自然语言推理（NLI）模型，并在来自不同分布的测试集上评估性能。
• 对于与格交替任务，他们改变句法结构（例如双宾语与介词短语结构）的同时保持语义内容不变。
• 对于数值推理任务，他们改变算术比较中使用的数字范围（例如30–49、60–79、200–299），同时保持句法结构一致。
• 性能通过在不同分布的测试集上的准确率来衡量，以评估在句法和词汇维度上的泛化能力。
• 该方法使研究者能够将因分布偏移导致的泛化失败，与因模型归纳偏置导致的失败区分开来。

实验结果

研究问题

• RQ1 当在与格交替的对抗性数据集上进行训练时，NLP模型能否在句法复杂度上实现泛化？
• RQ2 模型在数值推理上的表现是否能在不同数字范围内泛化，还是仅限于训练范围？
• RQ3 在挑战性数据集上成功微调在多大程度上反映了对现象的真实学习，而非对特定分布模式的记忆？
• RQ4 对语言维度（句法、词汇多样性）进行受控变化在多大程度上揭示了模型的泛化极限？
• RQ5 如果模型无法在不同数据分布之间泛化，免疫化方法是否会具有误导性？

主要发现

• 模型在与格交替任务中表现出显著困难，难以在句法复杂度上实现泛化，需要在多样化句法结构上进行大量训练才能实现稳定性能。
• 当在比训练中遇到的更复杂句法结构上进行测试时，性能最高下降3.2%，表明在句法变化上的泛化能力差。
• 在数值推理任务中，模型无法在不同数字范围之间实现泛化，即使在使用20,000个训练样本后，对分布外范围的准确率仍低于70%。
• 模型在相同数字范围上进行训练和测试时的性能显著更高，表明其更可能是记忆了特定数字对，而非学习了算术规则。
• 结果与原始免疫化分析相矛盾，表明在单一挑战性数据集上取得成功可能并不代表真正的泛化，而更可能是对数据集特定模式的过拟合。
• 本研究揭示了模型在处理多样化数字范围的数值推理方面存在内在弱点，凸显了对稳健NLI系统而言的关键局限。