[论文解读] Improving Robustness by Augmenting Training Sentences with Predicate-Argument Structures

Nafise Sadat Moosavi, Marcel de Boer+2 more|arXiv (Cornell University)|Oct 23, 2020

Natural Language Processing Techniques被引用 6

一句话总结

本文提出通过在训练句中引入谓词-论元结构来增强模型鲁棒性，以应对多种数据集偏差，而无需针对特定偏差进行优化。该方法通过突出语义角色来增强注意力机制，即使在训练数据中不存在偏差的情况下，也能在对抗性基准测试中提升模型的泛化能力。

ABSTRACT

Existing NLP datasets contain various biases, and models tend to quickly learn those biases, which in turn limits their robustness. Existing approaches to improve robustness against dataset biases mostly focus on changing the training objective so that models learn less from biased examples. Besides, they mostly focus on addressing a specific bias, and while they improve the performance on adversarial evaluation sets of the targeted bias, they may bias the model in other ways, and therefore, hurt the overall robustness. In this paper, we propose to augment the input sentences in the training data with their corresponding predicate-argument structures, which provide a higher-level abstraction over different realizations of the same meaning and help the model to recognize important parts of sentences. We show that without targeting a specific bias, our sentence augmentation improves the robustness of transformer models against multiple biases. In addition, we show that models can still be vulnerable to the lexical overlap bias, even when the training data does not contain this bias, and that the sentence augmentation also improves the robustness in this scenario. We will release our adversarial datasets to evaluate bias in such a scenario as well as our augmentation scripts at https://github.com/UKPLab/data-augmentation-for-robustness.

研究动机与目标

• 解决现有去偏方法仅针对特定偏差且可能损害整体鲁棒性的局限性。
• 探究当训练数据中不存在某些偏差时，模型是否仍对这些偏差保持脆弱性。
• 开发一种与模型无关、输入级别的数据增强技术，以提升鲁棒性，且无需修改模型或推理时的结构。
• 在多种模型、任务和对抗性评估集上评估语言学增强的有效性。
• 通过鼓励在多样化基准和模型架构上测试去偏方法，推动更广泛的评估实践。

提出的方法

• 使用预训练的语义解析器从训练句中提取谓词-论元结构（PAS）。
• 通过以结构化格式（例如，"[V: predict] [ARG0: student] [ARG1: result]"）插入对应PAS来增强每个输入句。
• 在微调过程中将增强后的输入送入预训练的Transformer模型（如BERT、RoBERTa、XLNet）。
• 在模型推理时保留原始输入，确保推理阶段无额外开销。
• 利用增强后的输入，促使注意力机制关注语义角色而非表面词汇线索。
• 在多种对抗性基准（包括HANS、SWAG和MultiNLI）上评估鲁棒性，涵盖不同偏差条件。

实验结果

研究问题

• RQ1 当训练数据中不包含词汇重叠偏差时，Transformer模型是否仍可能对这种偏差保持脆弱？
• RQ2 在不针对任何特定偏差的情况下，通过谓词-论元结构增强训练句是否能提升对多种类型偏差的鲁棒性？
• RQ3 当偏差未出现在训练数据中时，该增强方法是否仍有效？
• RQ4 该方法在不同预训练Transformer模型（如BERT、RoBERTa、XLNet）上的表现如何？
• RQ5 该方法是否能在自然语言蕴含和常识推理等不同NLP任务上实现泛化？

主要发现

• 在未包含词汇重叠偏差的SWAG数据上微调的模型，其在包含该偏差的对抗性测试集上仍表现低于随机基线，证实即使无显式偏差，模型仍可能脆弱。
• 所提出的句子增强方法在多个对抗性基准（HANS、SWAG、MultiNLI）上均提升了鲁棒性，且未针对任何特定偏差。
• 在HANS基准上，XLNet和RoBERTa模型在增强后对词汇重叠和句法不变性探测任务的准确率均提升，其中XLNet达到60.6%（原始数据为57.6%）。
• 即使基础模型本身已具备鲁棒性（如RoBERTa在MultiNLI上），该方法仍能持续提升性能，尤其在压力测试和否定探测任务中表现显著。
• 通过BertViz可视化显示，增强后注意力模式更集中，对谓词-论元结构及前提-假设相关词汇的关注更强。
• 该方法与模型无关，且无需修改推理阶段流程，具有实际部署的可行性。