[论文解读] A Unified Analysis of Mixed Sample Data Augmentation: A Loss Function Perspective

Chanwoo Park, Sangdoo Yun+1 more|arXiv (Cornell University)|Aug 21, 2022

Spectroscopy Techniques in Biomedical and Chemical Research被引用 7

一句话总结

本文从损失函数的角度提出了对混合样本数据增强（MSDA）的首个统一理论分析，揭示了MSDA在像素级别和第一层参数上均起到正则化作用。文章提出了HMix和GMix——Mixup与CutMix的广义扩展方法，通过以极低的计算成本结合两者优势，在CIFAR-100和ImageNet上均超越了当前最先进方法。

ABSTRACT

We propose the first unified theoretical analysis of mixed sample data augmentation (MSDA), such as Mixup and CutMix. Our theoretical results show that regardless of the choice of the mixing strategy, MSDA behaves as a pixel-level regularization of the underlying training loss and a regularization of the first layer parameters. Similarly, our theoretical results support that the MSDA training strategy can improve adversarial robustness and generalization compared to the vanilla training strategy. Using the theoretical results, we provide a high-level understanding of how different design choices of MSDA work differently. For example, we show that the most popular MSDA methods, Mixup and CutMix, behave differently, e.g., CutMix regularizes the input gradients by pixel distances, while Mixup regularizes the input gradients regardless of pixel distances. Our theoretical results also show that the optimal MSDA strategy depends on tasks, datasets, or model parameters. From these observations, we propose generalized MSDAs, a Hybrid version of Mixup and CutMix (HMix) and Gaussian Mixup (GMix), simple extensions of Mixup and CutMix. Our implementation can leverage the advantages of Mixup and CutMix, while our implementation is very efficient, and the computation cost is almost neglectable as Mixup and CutMix. Our empirical study shows that our HMix and GMix outperform the previous state-of-the-art MSDA methods in CIFAR-100 and ImageNet classification tasks. Source code is available at https://github.com/naver-ai/hmix-gmix

研究动机与目标

• 为理解不同混合样本数据增强（MSDA）策略（如Mixup与CutMix）如何影响模型训练，提供一个统一的理论框架。
• 从损失函数的视角解释MSDA为何能提升泛化能力与对抗鲁棒性。
• 从像素距离角度，阐明Mixup与CutMix在梯度与Hessian正则化方面的差异行为。
• 设计能结合Mixup与CutMix优势、同时保持低计算开销的广义MSDA方法。
• 通过实证验证，所提方法HMix与GMix在ImageNet与CIFAR-100上达到最先进性能。

提出的方法

• 通过推导MSDA对输入梯度与Hessian的正则化效应，以及对第一层参数的影响，提出MSDA的统一理论分析。
• 提出HMix，一种混合方法，通过控制参数随机地结合CutMix（剪切-粘贴）与Mixup（线性插值）的方式。
• 提出GMix，利用高斯函数在输入空间中实现平滑插值，实现两样本的渐进混合。
• 基于空间接近度与掩码大小，推导HMix的正则化系数，揭示其如何平衡局部与全局正则化。
• 通过理论分析表明，最优的MSDA策略取决于任务、数据集与模型架构。
• 在CIFAR-100与ImageNet上使用PreActResNet-18等标准架构验证所提方法，并开展超参数的消融研究。

实验结果

研究问题

• RQ1 从损失函数视角出发，混合样本数据增强（MSDA）如何对训练过程进行正则化？
• RQ2 为何Mixup与CutMix在不同像素距离下的梯度与Hessian正则化行为存在差异？
• RQ3 是否存在一个统一的理论框架，能够解释MSDA在多种数据增强策略下带来的泛化与鲁棒性提升？
• RQ4 构建广义MSDA方法的关键设计原则是什么，使其能超越现有方法？
• RQ5 超参数α与r如何影响HMix与GMix的性能？其最优设置为何？

主要发现

• MSDA在损失函数层面起到像素级别的正则化作用，并对第一层参数施加正则化，解释了其泛化优势。
• CutMix在邻近像素的梯度与Hessian上提供强正则化，而Mixup则在所有距离上均匀正则化梯度与Hessian。
• 当α=1.0且r=0.75时，HMix在CIFAR-100上达到79.25%的top-1准确率，优于CutMix（78.66%）与Mixup（77.21%）。
• 当α=0.5时，GMix在CIFAR-100上达到79.17%的准确率，优于CutMix（78.66%）与Mixup（77.21%）在相同设置下。
• 所提方法对超参数选择具有鲁棒性，在不同α与r值下性能下降极小，表明其具有高度稳定性。
• ImageNet上的实证结果表明，HMix与GMix始终优于当前最先进MSDA方法，包括Stochastic Mixup & CutMix。