[论文解读] Mixup-Transfomer: Dynamic Data Augmentation for NLP Tasks

Lichao Sun, Congying Xia+4 more|arXiv (Cornell University)|Oct 5, 2020

Topic Modeling参考文献 18被引用 9

一句话总结

本文提出 Mixup-Transformer，一种用于自然语言处理的动态数据增强方法，该方法在基于 BERT 的 Transformer 模型的隐藏表示空间中对输入序列和标签进行线性插值。该方法在 GLUE 基准任务和低资源设置下均实现了显著的性能提升，证明了 mixup 是一种与领域无关、有效的预训练语言模型正则化技术。

ABSTRACT

Mixup is the latest data augmentation technique that linearly interpolates input examples and the corresponding labels. It has shown strong effectiveness in image classification by interpolating images at the pixel level. Inspired by this line of research, in this paper, we explore i) how to apply mixup to natural language processing tasks since text data can hardly be mixed in the raw format; ii) if mixup is still effective in transformer-based learning models, e.g., BERT. To achieve the goal, we incorporate mixup to transformer-based pre-trained architecture, named mixup-transformer, for a wide range of NLP tasks while keeping the whole end-to-end training system. We evaluate the proposed framework by running extensive experiments on the GLUE benchmark. Furthermore, we also examine the performance of mixup-transformer in low-resource scenarios by reducing the training data with a certain ratio. Our studies show that mixup is a domain-independent data augmentation technique to pre-trained language models, resulting in significant performance improvement for transformer-based models.

研究动机与目标

• 探究 mixup 在计算机视觉中有效，是否可适应自然语言处理，尽管文本具有离散性和非线性特性。
• 探索在基于 Transformer 的预训练语言模型（如 BERT）中应用 mixup 的可行性和有效性。
• 在标准资源和低资源训练条件下，评估 Mixup-Transformer 在标准 NLP 基准（尤其是 GLUE 基准）上的性能表现。
• 确定 mixup 是否是一种与领域无关的预训练语言模型正则化技术。

提出的方法

• 该方法通过插值输入序列的隐藏表示而非原始文本标记来应用 mixup，从而实现在潜在空间中的连续插值。
• 采用线性插值策略：λ × h₁ + (1−λ) × h₂，其中 h₁ 和 h₂ 分别为两个输入序列的隐藏表示，λ 为从 Beta 分布中采样的随机标量。
• 标签也使用相同的 λ 进行插值，从而在训练过程中生成混合样本的软标签。
• 整个框架被集成到标准的端到端训练流程中，无需对模型架构进行修改。
• 该方法在保持预训练模型结构不变的同时，通过隐藏空间混合在前向传播过程中引入数据增强。

实验结果

研究问题

• RQ1 鉴于文本具有离散性和不可微特性，mixup 是否能有效应用于自然语言处理任务？
• RQ2 当应用于基于 Transformer 的预训练模型（如 BERT）时，mixup 是否能提升性能？
• RQ3 在标准和低资源训练范式下，mixup-Transformer 在标准 NLP 基准（如 GLUE）上的表现如何？
• RQ4 mixup 是否是一种与领域无关的预训练语言模型正则化技术？

主要发现

• 当应用于基于 BERT 的模型时，Mixup-Transformer 在 GLUE 基准的多个任务中均实现了显著的性能提升。
• 该方法在模型泛化能力方面表现出持续改进，尤其在训练数据按特定比例减少的低资源设置下效果更明显。
• mixup 在多种不同的 NLP 任务中均带来性能增益，表明其具有领域无关性且适用范围广泛。
• 当在隐藏表示空间中应用 mixup 时，其有效性得以保持，证明在潜在空间中进行插值对文本数据是可行且有益的。