[论文解读] Does Data Augmentation Improve Generalization in NLP?
本文研究了在NLP中使用反例进行数据增强是否能提升泛化能力，通过在具有竞争性弱特征和强特征的合成任务上测试模型。研究发现，数据增强通常在带来帮助之前先损害性能，当强特征难以提取时效果较差，且当训练数据中完全缺乏强特征时则完全失效。
Neural models often exploit superficial features to achieve good performance, rather than deriving more general features. Overcoming this tendency is a central challenge in areas such as representation learning and ML fairness. Recent work has proposed using data augmentation, i.e., generating training examples where the superficial features fail, as a means of encouraging models to prefer the stronger features. We design a series of toy learning problems to test the hypothesis that data augmentation leads models to unlearn weaker heuristics, but not to learn stronger features in their place. We find partial support for this hypothesis: Data augmentation often hurts before it helps, and it is less effective when the preferred strong feature is much more difficult to extract than the competing weak feature.
研究动机与目标
- 评估使用反例进行数据增强是否有助于模型摒弃弱的、表面的特征，转而学习更强的、更具泛化能力的特征。
- 研究在NLP中数据增强提升模型泛化能力的条件。
- 将数据增强的影响与现实NLP任务中常见的混淆因素分离开来。
- 评估模型在数据增强后是否向更强的特征靠拢，还是转而采用新的、非预期的弱特征。
- 确定特征可提取性与数据分布对数据增强策略成功与否的作用。
提出的方法
- 设计一个具有强特征（完全预测性但难以提取）和弱特征（易于提取但可靠性较低）的合成二分类序列任务。
- 使用基于LSTM的模型，包含嵌入层、1层LSTM和带有ReLU激活函数的前馈MLP进行序列分类。
- 生成仅包含强特征或仅包含弱特征的反例，以破坏对弱启发式规则的依赖。
- 在不同水平的数据增强（从训练数据的1%到100%）下进行训练，并在仅包含强特征的测试集上进行评估。
- 通过准确率作为主要指标，测量模型在测试其对强特征依赖程度的样本上的表现。
- 使用最小描述长度（MDL）量化特征的复杂度，评估模型检测特征的难易程度。
实验结果
研究问题
- RQ1使用反例进行数据增强是否能促使模型摒弃弱特征并转向更强、更具泛化能力的特征？
- RQ2提取强特征的难度如何影响数据增强的有效性？
- RQ3数据增强是否会在改善之前导致性能暂时下降？如果是，原因是什么？
- RQ4在什么条件下，即使添加了反例，数据增强也无法提升泛化能力？
- RQ5当强特征在训练数据中完全缺失或极为稀少时，数据增强是否仍有效？
主要发现
- 数据增强通常在带来帮助之前先损害模型性能，当仅加入少量反例时，模型最初会转向新的、非预期的弱特征。
- 当强特征的MDL复杂度较高（即模型更难提取）时，数据增强的效果显著下降。
- 当强特征在训练数据中完全缺失或极为稀少时，即使大量注入反例，数据增强也毫无效果。
- 在低水平数据增强（例如≤1%的训练数据）下训练的模型无法正确分类仅包含强特征的样本，表明其未向预期的泛化方向转变。
- 仅存在反例不足以促使模型学习强特征；强特征必须已在数据中足够充分存在，数据增强才能发挥作用。
- 如果评估仅限于目标现象，数据增强带来的性能提升可能具有误导性，因为模型可能利用了新的启发式规则而非学习到稳健的表征。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。