[论文解读] DoubleMix: Simple Interpolation-Based Data Augmentation for Text Classification

Hui Chen, Wei Han+2 more|arXiv (Cornell University)|Sep 12, 2022

Text and Document Classification Technologies被引用 9

一句话总结

DoubleMix 是一种简单而有效的文本分类数据增强方法，通过神经网络隐藏空间中的两阶段插值提升模型鲁棒性。通过首先生成训练样本的扰动变体，然后在多个隐藏层上将这些变体与原始输入混合，DoubleMix 在六个基准数据集和低资源设置下均提升了性能，优于现有的词粒度、句子粒度和隐藏层粒度增强技术。

ABSTRACT

This paper proposes a simple yet effective interpolation-based data augmentation approach termed DoubleMix, to improve the robustness of models in text classification. DoubleMix first leverages a couple of simple augmentation operations to generate several perturbed samples for each training data, and then uses the perturbed data and original data to carry out a two-step interpolation in the hidden space of neural models. Concretely, it first mixes up the perturbed data to a synthetic sample and then mixes up the original data and the synthetic perturbed data. DoubleMix enhances models' robustness by learning the "shifted" features in hidden space. On six text classification benchmark datasets, our approach outperforms several popular text augmentation methods including token-level, sentence-level, and hidden-level data augmentation techniques. Also, experiments in low-resource settings show our approach consistently improves models' performance when the training data is scarce. Extensive ablation studies and case studies confirm that each component of our approach contributes to the final performance and show that our approach exhibits superior performance on challenging counterexamples. Additionally, visual analysis shows that text features generated by our approach are highly interpretable. Our code for this paper can be found at https://github.com/declare-lab/DoubleMix.git.

研究动机与目标

• 解决文本分类中标签数据有限导致的过拟合和对浅层启发式规则的依赖问题。
• 克服现有数据增强方法的局限性，特别是隐藏层方法中标签混合可能扭曲真实类别概率的问题。
• 通过隐藏空间中的插值学习鲁棒的、偏移的特征，无需软标签混合，提升模型泛化能力。
• 在低资源条件下以及在具有挑战性的反事实样本上，展示一致的性能提升。
• 通过可视化学习到的特征流形和对抗性样本的案例研究，提供可解释性。

提出的方法

• 对每个训练样本应用简单、基于规则的增强操作（例如，词插入、删除、替换），生成多个扰动变体。
• 执行两步插值过程：首先在隐藏空间中将扰动变体混合生成合成样本，然后将原始输入与该合成样本混合。
• 为原始输入设置比合成扰动样本更高的混合权重，以平衡扰动强度与噪声注入。
• 引入 Jensen-Shannon 散度正则化项，最小化原始输入与扰动输入预测结果之间的分布差异。
• 在多个 Transformer 编码器层（例如，{3,4}，{9,10,12}）上应用插值，以学习分层表示，最优性能在中上层观察到。
• 使用 t-SNE 可视化学习到的特征，分析表示的几何结构，验证聚类和分离性的改善。

实验结果

研究问题

• RQ1 在隐藏空间中基于插值的数据增强是否能在不依赖软标签混合的情况下提升模型鲁棒性？
• RQ2 DoubleMix 在标准文本分类基准数据集上与 SOTA 的词粒度、句子粒度和隐藏层粒度数据增强方法相比表现如何？
• RQ3 DoubleMix 是否在标签数据稀缺的低资源设置下持续提升性能？
• RQ4 不同插值层集合如何影响表示学习和最终性能？
• RQ5 DoubleMix 是否能有效处理测试模型泛化能力的挑战性反事实样本，超越表面模式？

主要发现

• DoubleMix 在六个文本分类基准数据集上优于多种 SOTA 数据增强方法，准确率和 F1 分数均有持续提升。
• 在 SNLI 数据集（10,000 个训练样本）上，DoubleMix 达到 71.23% 的测试准确率和 71.05% 的 F1 分数，超过 BERT 基线（69.77% 准确率，69.59% F1 分数）。
• 在层集合 {9,10,12} 上插值时，DoubleMix 达到最高性能，表明高层表示最有利于鲁棒特征学习。
• 该方法显著提升了对 Kaushik 等人（2020）提出的反事实样本的预测性能，尤其在蕴含和中性标签上，BERT 更常失败。
• t-SNE 可视化显示，DoubleMix 学习到的特征在各类之间分离得比 BERT 基线更好，表明表示学习得到改善。
• 消融研究证实，扰动生成和两阶段插值组件均至关重要，正则化项有助于稳定训练并提升泛化能力。