[论文解读] Does Data Augmentation Benefit from Split BatchNorms

Amil Merchant, Barret Zoph+1 more|arXiv (Cornell University)|Oct 15, 2020

Stochastic Gradient Optimization Techniques参考文献 41被引用 4

一句话总结

本文研究了拆分批量归一化（split BatchNorm）——即对干净图像和增强图像分别使用独立的统计信息——是否能提升数据增强下的模型性能。研究发现，使用弱增强图像（而非干净图像）来定义主批量归一化层，可显著提升在CIFAR-10、CIFAR-100和ImageNet上的准确率，同时通过预测平均保持鲁棒性，揭示了准确率与数据扰动鲁棒性之间的权衡。

ABSTRACT

Data augmentation has emerged as a powerful technique for improving the performance of deep neural networks and led to state-of-the-art results in computer vision. However, state-of-the-art data augmentation strongly distorts training images, leading to a disparity between examples seen during training and inference. In this work, we explore a recently proposed training paradigm in order to correct for this disparity: using an auxiliary BatchNorm for the potentially out-of-distribution, strongly augmented images. Our experiments then focus on how to define the BatchNorm parameters that are used at evaluation. To eliminate the train-test disparity, we experiment with using the batch statistics defined by clean training images only, yet surprisingly find that this does not yield improvements in model performance. Instead, we investigate using BatchNorm parameters defined by weak augmentations and find that this method significantly improves the performance of common image classification benchmarks such as CIFAR-10, CIFAR-100, and ImageNet. We then explore a fundamental trade-off between accuracy and robustness coming from using different BatchNorm parameters, providing greater insight into the benefits of data augmentation on model performance.

研究动机与目标

• 为解决深度学习中因激进数据增强导致的训练-测试分布差异问题。
• 探究拆分批量归一化（对干净图像和增强图像分别使用独立统计信息）是否能缓解此差异。
• 确定推理阶段最优的批量归一化参数定义方式，以提升模型性能。
• 分析在不同批量归一化参数定义方式下，模型准确率与鲁棒性之间的权衡。

提出的方法

• 采用拆分批量归一化训练范式，其中使用辅助批量归一化层处理强增强的、分布外的图像。
• 使用弱增强图像的统计信息而非干净图像来定义主批量归一化层。
• 在推理阶段，通过主批量归一化层与辅助批量归一化层预测结果的加权平均，平衡准确率与鲁棒性。
• 在干净准确率、常见扰动（Common Corruptions）的鲁棒性以及对噪声的傅里叶敏感度方面评估模型性能。
• 在傅里叶域应用低通滤波，分析频率成分的使用情况，以解释性能提升的原因。
• 开展消融实验，以隔离弱增强在性能提升中的贡献。

实验结果

研究问题

• RQ1 在拆分批量归一化设置中，使用干净（未增强）图像来定义主批量归一化是否能提升模型性能？
• RQ2 能否有效利用弱增强图像来定义主批量归一化，从而实现优于使用干净图像的性能？
• RQ3 在使用不同批量归一化参数定义方式时，模型准确率与鲁棒性之间的权衡关系如何？
• RQ4 增强图像的频率成分与拆分批量归一化设置中性能提升的关系是什么？

主要发现

• 在拆分批量归一化设置中，使用干净图像来定义主批量归一化不仅无法提升性能，反而可能因过拟合而损害性能。
• 使用弱增强图像来定义主批量归一化，可在CIFAR-10、CIFAR-100和ImageNet基准上带来显著的干净准确率提升。
• 训练于强增强图像的辅助批量归一化层对高频噪声更敏感，表明其鲁棒性降低。
• 通过主批量归一化与辅助批量归一化层预测结果的平均，可在保留强增强带来的大部分准确率增益的同时，恢复模型的鲁棒性。
• 弱增强使模型在训练数据中更有效地利用高频信息，这一结论通过傅里叶域滤波实验得到验证。
• 使用弱增强图像定义主批量归一化参数的模型，其频率使用特性在无增强与强增强（如RandAugment）之间实现了有效插值。