[论文解读] CoDA: Contrast-enhanced and Diversity-promoting Data Augmentation for Natural Language Understanding

Yanru Qu, Dinghan Shen+4 more|arXiv (Cornell University)|Oct 16, 2020

Topic Modeling参考文献 51被引用 28

一句话总结

CoDA 是一种用于自然语言理解的新型数据增强框架，通过结合多种保持标签不变的转换方法（尤其是回译和对抗训练），并引入对比正则化损失以捕捉所有训练样本之间的全局关系，从而提升模型的泛化能力。在 GLUE 基准上，CoDA 将 RoBERTa-large 的性能平均提升了 2.2%，优于强基线模型，尤其在低资源设置下表现更优。

ABSTRACT

Data augmentation has been demonstrated as an effective strategy for improving model generalization and data efficiency. However, due to the discrete nature of natural language, designing label-preserving transformations for text data tends to be more challenging. In this paper, we propose a novel data augmentation framework dubbed CoDA, which synthesizes diverse and informative augmented examples by integrating multiple transformations organically. Moreover, a contrastive regularization objective is introduced to capture the global relationship among all the data samples. A momentum encoder along with a memory bank is further leveraged to better estimate the contrastive loss. To verify the effectiveness of the proposed framework, we apply CoDA to Transformer-based models on a wide range of natural language understanding tasks. On the GLUE benchmark, CoDA gives rise to an average improvement of 2.2% while applied to the RoBERTa-large model. More importantly, it consistently exhibits stronger results relative to several competitive data augmentation and adversarial training base-lines (including the low-resource settings). Extensive experiments show that the proposed contrastive objective can be flexibly combined with various data augmentation approaches to further boost their performance, highlighting the wide applicability of the CoDA framework.

研究动机与目标

• 为解决设计有效且保持标签不变的文本转换方法以提升模型泛化能力的挑战。
• 探索如何协同结合多种数据增强技术，以生成更多样化且信息量更丰富的训练样本。
• 开发一种利用所有训练样本之间全局关系的训练目标，而不仅限于原始样本与增强样本对之间的局部一致性。
• 通过增强表示学习来提升数据效率，特别是在低资源设置下。
• 提供一种灵活且有理论依据的框架，可与多种数据增强策略结合以提升性能。

提出的方法

• CoDA 通过堆叠多种保持标签不变的转换方法（如回译和对抗训练），生成多样化且高质量的增强样本。
• 引入对比学习目标，促使模型对正样本对（原始样本与增强样本）产生相似的表示，同时与整个训练集中的负样本对形成对比。
• 使用动量编码器和内存库以稳定对比学习过程，并改善负样本的估计。
• 应用一致性正则化，确保模型预测在保持标签不变的转换下保持不变。
• 对比目标被设计为模块化，可与核心 CoDA 流程之外的多种数据增强方法集成。
• 该方法在 RoBERTa 基础模型上针对 GLUE 基准进行了评估，包括低资源设置下的消融研究。

实验结果

研究问题

• RQ1 如何有效结合多种保持标签不变的文本转换方法，以生成多样化且信息丰富的增强样本？
• RQ2 一种能够捕捉所有训练样本之间全局关系的对比学习目标，是否能提升数据增强的有效性？
• RQ3 CoDA 与标准微调以及其他数据增强或对抗训练基线相比表现如何，尤其在低资源条件下？
• RQ4 对比目标在不同数据增强技术之间具有多大程度的泛化能力？
• RQ5 增强样本的多样性在标签数据稀缺时是否显著影响模型泛化能力？

主要发现

• 当应用于 RoBERTa-large 时，CoDA 在 GLUE 基准上实现了平均 2.2% 的性能提升，显著优于标准微调方法。
• 在低资源设置下，CoDA 始终优于回译和对抗训练，在较小数据集（如 MNLI 和 QNLI）上取得了更大的性能增益。
• 通过堆叠方式结合回译和对抗训练，可生成最多样化且高质量的增强样本，显著提升模型性能。
• 所提出的对比目标在所有评估的数据增强方法中均提升了性能，证实了其广泛适用性和有效性。
• 对比损失通过利用所有训练嵌入之间的全局关系（而不仅限于局部样本对），增强了模型的泛化能力。
• 动量编码器和内存库显著提升了在文本数据增强背景下对比学习的稳定性和质量。