[论文解读] Generative Data Augmentation for Commonsense Reasoning

Yiben Yang, Chaitanya Malaviya+7 more|arXiv (Cornell University)|Apr 24, 2020

Topic Modeling参考文献 66被引用 18

一句话总结

该论文提出 G-DAug$^c$，一种基于预训练语言模型生成多样化、高质量常识推理样本的生成式数据增强框架。通过结合基于影响的过滤与多样性最大化选择策略，该方法在 WinoGrande、CommonsenseQA 和 CoDaH 等基准上提升了分布内性能与鲁棒性，实现了最先进性能，准确率绝对提升最高达 4%。

ABSTRACT

Recent advances in commonsense reasoning depend on large-scale human-annotated training data to achieve peak performance. However, manual curation of training examples is expensive and has been shown to introduce annotation artifacts that neural models can readily exploit and overfit on. We investigate G-DAUG^C, a novel generative data augmentation method that aims to achieve more accurate and robust learning in the low-resource setting. Our approach generates synthetic examples using pretrained language models, and selects the most informative and diverse set of examples for data augmentation. In experiments with multiple commonsense reasoning benchmarks, G-DAUG^C consistently outperforms existing data augmentation methods based on back-translation, and establishes a new state-of-the-art on WinoGrande, CODAH, and CommonsenseQA. Further, in addition to improvements in in-distribution accuracy, G-DAUG^C-augmented training also enhances out-of-distribution generalization, showing greater robustness against adversarial or perturbed examples. Our analysis demonstrates that G-DAUG^C produces a diverse set of fluent training examples, and that its selection and training approaches are important for performance. Our findings encourage future research toward generative data augmentation to enhance both in-distribution learning and out-of-distribution generalization.

研究动机与目标

• 解决常识推理任务中人工标注训练数据成本高且脆弱的问题。
• 缓解在人工精选数据集上训练的神经网络模型所存在的标注偏差与过拟合问题。
• 开发一种低资源、可扩展的解决方案，利用合成数据提升模型泛化能力。
• 同时提升常识推理任务中的分布内性能与分布外鲁棒性。
• 设计一个数据选择流程，确保合成样本具有信息量且多样性高。

提出的方法

• 使用预训练语言模型（如 GPT-2）生成大规模合成常识推理问答对。
• 利用微调后的任务模型对生成样本重新标注，以提升标签质量。
• 应用影响函数识别对训练影响最大的最具信息量的合成样本。
• 实施启发式方法，最大化所选合成样本的语义多样性。
• 采用两阶段训练策略：先在过滤后的合成数据上训练，再在原始人工标注数据上微调。
• 利用生成样本的多样性，引入原始训练集中不存在的新语义单元。

实验结果

研究问题

• RQ1 生成模型能否生成适合常识推理数据增强的高质量、多样化合成样本？
• RQ2 如何从大规模生成样本池中选择最具信息量且最多样化的合成样本？
• RQ3 合成数据增强是否能提升常识推理基准上的分布内性能？
• RQ4 合成数据能否增强模型对对抗性扰动和分布外样本的鲁棒性？
• RQ5 数据选择与训练流程中的哪些组件对性能提升最为关键？

主要发现

• G-DAug$^c$ 在四个常识推理基准上实现了 1%–4% 的绝对准确率提升，包括在 WinoGrande、CommonsenseQA 和 CoDaH 上达到最先进性能。
• 该框架提升了模型鲁棒性，在扰动评估集上表现更高准确率，并对对抗攻击具有更强抵抗力。
• 人工评估显示 74.04% 的生成问题被评为可接受（≥3/4），平均流畅度评分为 3.34。
• 合成数据引入的唯一语义单元数量显著多于原始训练集，表明其有效提升了数据多样性。
• 模型性能无法完全由锐度（Hessian 迹）解释，表明数据质量与选择比优化动态更为关键。
• G-DAug$^c$ 胜过基于回译的基线方法以及使用微调生成器的集成方法，证明了其选择与训练策略的优越性。