[论文解读] G-DAUG: Generative Data Augmentation for Commonsense Reasoning

Yiben Yang, Chaitanya Malaviya+7 more|arXiv (Cornell University)|Apr 24, 2020

Topic Modeling被引用 14

一句话总结

G-DAUG^C 提出了一种生成式数据增强方法，利用预训练语言模型为常识推理任务合成多样化、高质量的训练样本，在低资源基准上显著提升了性能。该方法优于基于回译的方法，并在 WinoGrande、CODAH 和 CommonsenseQA 上取得了新的 SOTA 结果，同时增强了对分布外变化和对抗性样本的鲁棒性。

ABSTRACT

Recent advances in commonsense reasoning depend on large-scale human-annotated training data to achieve peak performance. However, manual curation of training examples is expensive and has been shown to introduce annotation artifacts that neural models can readily exploit and overfit on. We investigate G-DAUG^C, a novel generative data augmentation method that aims to achieve more accurate and robust learning in the low-resource setting. Our approach generates synthetic examples using pretrained language models, and selects the most informative and diverse set of examples for data augmentation. In experiments with multiple commonsense reasoning benchmarks, G-DAUG^C consistently outperforms existing data augmentation methods based on back-translation, and establishes a new state-of-the-art on WinoGrande, CODAH, and CommonsenseQA. Further, in addition to improvements in in-distribution accuracy, G-DAUG^C-augmented training also enhances out-of-distribution generalization, showing greater robustness against adversarial or perturbed examples. Our analysis demonstrates that G-DAUG^C produces a diverse set of fluent training examples, and that its selection and training approaches are important for performance. Our findings encourage future research toward generative data augmentation to enhance both in-distribution learning and out-of-distribution generalization.

研究动机与目标

• 解决人工标注的常识推理数据集中存在的高成本与标注偏差问题。
• 在标注数据稀缺的低资源设置下提升模型的泛化能力。
• 开发一种能够生成多样化、流畅且信息丰富的合成训练样本的数据增强方法。
• 提升常识推理模型在分布内与分布外样本上的性能与鲁棒性。
• 通过引入具有多样化语言模式的合成数据，减少模型对标注偏差的过拟合。

提出的方法

• 利用预训练语言模型生成合成训练样本，以扩展训练数据分布。
• 应用一种选择机制，从生成样本集中保留最具信息量和多样性的样本。
• 采用类似课程学习的训练策略，在微调过程中优先使用高质量的合成样本。
• 利用生成样本的流畅性与语义多样性，提升模型的泛化能力。
• 通过基于置信度的过滤步骤，排除低质量或无关的合成样本。
• 将生成式增强与标准微调相结合，以提升下游基准上的性能。

实验结果

研究问题

• RQ1 生成式数据增强是否能在标注数据有限的常识推理基准上提升性能？
• RQ2 与基于回译的方法相比，G-DAUG^C 是否能生成更多样化且更流畅的训练样本？
• RQ3 G-DAUG^C 在分布外泛化和对抗性样本鲁棒性方面改善程度如何？
• RQ4 G-DAUG^C 中的选择与训练策略在性能提升中起到了何种作用？
• RQ5 通过大语言模型生成的合成数据是否能减少常识数据集中对标注偏差的过拟合？

主要发现

• G-DAUG^C 在 WinoGrande 上取得了新的 SOTA 结果，其分布内准确率优于先前方法。
• 它在 CODAH 和 CommonsenseQA 上也设定了新的 SOTA 结果，表明在多个基准上均实现了稳定提升。
• 经过 G-DAUG^C 微调的模型在对抗性输入和扰动输入下表现出更强的鲁棒性，优于基线模型。
• 该方法生成了多样化且流畅的合成样本，有助于提升模型泛化能力。
• 消融实验证明，G-DAUG^C 中的选择与训练流程对性能至关重要，缺少这些步骤会导致性能显著下降。
• 通过生成式增强引入的语言多样性，G-DAUG^C 有效减少了对标注偏差的过拟合。