[论文解读] Linguistically-Informed Transformations (LIT): A Method for Automatically Generating Contrast Sets

Chuanrong Li, Lin Shengshuo+4 more|arXiv (Cornell University)|Oct 16, 2020

Topic Modeling参考文献 22被引用 4

一句话总结

本文提出语言学启发的转换（Linguistically-Informed Transformations, LIT），一种利用语言学语法（ERG）自动生成高质量对比数据集的方法，通过应用有针对性的句法和语义扰动来实现。该方法可实现对模型鲁棒性的细粒度探测，揭示了 BERT 和 RoBERTa 在简单语言现象上的系统性失败，并通过数据增强提升了模型泛化能力，同时不损害分布内性能。

ABSTRACT

Although large-scale pretrained language models, such as BERT and RoBERTa, have achieved superhuman performance on in-distribution test sets, their performance suffers on out-of-distribution test sets (e.g., on contrast sets). Building contrast sets often re-quires human-expert annotation, which is expensive and hard to create on a large scale. In this work, we propose a Linguistically-Informed Transformation (LIT) method to automatically generate contrast sets, which enables practitioners to explore linguistic phenomena of interests as well as compose different phenomena. Experimenting with our method on SNLI and MNLI shows that current pretrained language models, although being claimed to contain sufficient linguistic knowledge, struggle on our automatically generated contrast sets. Furthermore, we improve models' performance on the contrast sets by apply-ing LIT to augment the training data, without affecting performance on the original data.

研究动机与目标

• 解决当前缺乏大规模、高质量对比数据集以评估 NLP 模型在分布内性能之外的鲁棒性问题。
• 克服人工标注对比数据集在 NLP 中成本高且可扩展性差的局限。
• 实现对模型在特定语言现象（如时态不匹配、被动语态转换和情态变化）上失败情况的细粒度分析。
• 通过使用语言学启发的转换对训练数据进行增强，提升模型泛化能力。
• 证明传统语言学知识在评估和提升数据驱动型 NLP 模型方面依然至关重要。

提出的方法

• LIT 使用基于意义-文本理论的 ERG 语法对输入句子进行解析，并识别可进行转换的语言现象。
• 基于语法中的句法和语义规则，应用一组预定义的语言学转换（如时态转换、被动化、it-强调句构造）
• 系统性地应用转换以生成对比样本，保持句法结构不变但改变语义或标签，确保扰动最小化。
• 通过组合多个转换于同一示例上，支持组合泛化，从而实现复杂探测场景。
• 对每个输入生成多个转换变体，实现对模型行为多样化且受控的评估。
• 该方法应用于 SNLI 和 MNLI 数据集，人工评估确认了生成对比数据集的高质量。

实验结果

研究问题

• RQ1 基于语言学知识的自动转换方法能否生成高质量对比数据集，揭示标准基准未暴露的模型弱点？
• RQ2 SOTA 级 NLP 模型（如 BERT 和 RoBERTa）在 LIT 生成的对比数据集上的表现如何，特别是在简单和组合性语言扰动上？
• RQ3 使用 LIT 进行数据增强在不降低分布内性能的前提下，能在多大程度上提升模型在分布外测试集上的鲁棒性？
• RQ4 现有 NLI 数据集（如 SNLI 和 MNLI）中哪些语言现象被显著低估？这如何影响模型的泛化能力？
• RQ5 在 LIT 增强的数据上进行微调是否能促使模型系统性地理解语言转换，从而在组合泛化任务上表现提升？

主要发现

• BERT 和 RoBERTa 在 LIT 生成的对比数据集上表现出显著的性能下降，即使在简单的转换（如时态不匹配）上也是如此，表明其对基本语言扰动的鲁棒性较差。
• 在 LIT 增强数据上微调的模型在分布外测试集上性能提升，同时未牺牲原始分布内数据的准确率。
• 当在简单转换上进行微调时，RoBERTa 在组合性转换（如被动化与将来时态的结合）上表现出强大的零样本性能，表明其系统性地学习了转换模式。
• 人工评估确认 LIT 生成的对比数据集质量高，语义和句法保真度强，且标签更改正确。
• 对 SNLI 和 MNLI 的分析显示存在显著的数据偏差：MNLI 中仅有 2.95% 的句子为将来时态，且不存在被动-将来或将来-被动配对，这解释了模型在这些转换上的失败原因。
• 该方法成功转换了约 20% 的 SNLI 实例，覆盖率受限于语法解析的成功率，但结果已证明将语言学知识整合到数据增强中的可行性。