[论文解读] Data Augmentation Revisited: Rethinking the Distribution Gap between Clean and Augmented Data

Zhuoxun He, Lingxi Xie+4 more|arXiv (Cornell University)|Sep 19, 2019

Advanced Neural Network Applications参考文献 47被引用 35

一句话总结

本文将数据增强视为正则化，推导了期望风险的一个上界，并提出通过在训练结束时减少或停止数据增强来缩小分布差距，从而改进增强策略，在分类任务上获得一致提升并改善对检测的迁移。

ABSTRACT

Data augmentation has been widely applied as an effective methodology to improve generalization in particular when training deep neural networks. Recently, researchers proposed a few intensive data augmentation techniques, which indeed improved accuracy, yet we notice that these methods augment data have also caused a considerable gap between clean and augmented data. In this paper, we revisit this problem from an analytical perspective, for which we estimate the upper-bound of expected risk using two terms, namely, empirical risk and generalization error, respectively. We develop an understanding of data augmentation as regularization, which highlights the major features. As a result, data augmentation significantly reduces the generalization error, but meanwhile leads to a slightly higher empirical risk. On the assumption that data augmentation helps models converge to a better region, the model can benefit from a lower empirical risk achieved by a simple method, i.e., using less-augmented data to refine the model trained on fully-augmented data. Our approach achieves consistent accuracy gain on a few standard image classification benchmarks, and the gain transfers to object detection.

研究动机与目标

• 阐明为何强强度数据增强会在干净数据与增强数据之间造成分布差距
• 重新表述在增强条件下的期望风险上界，以将经验风险与泛化误差分离
• 解释数据增强对次要特征的正则化作用，同时保留主要特征
• 提出一种改进的训练策略，在训练后期减少数据增强
• 展示在标准基准上的改进以及对检测任务的迁移提升

提出的方法

• 建立带数据增强的期望风险并区分 P 与 P_aug
• 利用将特征空间分解为主要特征与次要特征的方式，分析在强增强下经验风险的收敛性
• 使用泰勒展开来证明强增强如何对次要特征进行正则化并约束相应的权重
• 提出改进的数据增强：在细化阶段继续标准增强，但在训练结束时减少或停止强烈增强
• 在 CIFAR-10/100、Tiny-ImageNet、ImageNet 与 Pascal VOC 搭配 Faster R-CNN 进行实证验证以测试分类与检测迁移

实验结果

研究问题

• RQ1 数据增强如何通过经验风险和泛化误差影响期望风险的上界？
• RQ2 在存在显著分布差距时，强增强是否能与经验风险的收敛性相容？
• RQ3 在训练后期减少增强的训练计划是否能提升最终泛化性与对检测的迁移？
• RQ4 在标准基准和检测任务中，改进数据增强的实际收益是什么？

主要发现

• 强增强降低泛化误差，但在被增强数据上可能增加经验风险。
• 改进的数据增强，即以较少增强结束，会进一步降低经验风险并提升测试性能。
• 数据增强帮助模型收敛到参数空间的更好区域，且改进行为可在 CIFAR、Tiny-ImageNet 与 ImageNet 上维持或提升收益。
• 改进提升了对目标检测的迁移，表明训练末期的增强有助于恢复对位置敏感的特征。
• 这些收益在 Mixup、Manifold Mixup、CutMix、AutoAugment 等多种增强类型上持续存在，且改进有助于减轻对增强数据的过拟合。