[论文解读] Meta Approach to Data Augmentation Optimization

Ryuichiro Hataya, Jan Zdenek+2 more|arXiv (Cornell University)|Jun 14, 2020

Advanced Neural Network Applications参考文献 28被引用 6

一句话总结

该论文提出MADAO，一种基于梯度的方法，通过使用Neumann级数的隐式梯度近似，联合优化深度神经网络和数据增强策略，实现在ImageNet上无需代理任务或搜索空间缩减的直接、可扩展优化。MADAO在多个图像分类基准（包括ImageNet和细粒度数据集）上实现了最先进性能，相较于AutoAugment和RandAugment等先前方法表现出一致的性能提升。

ABSTRACT

Data augmentation policies drastically improve the performance of image recognition tasks, especially when the policies are optimized for the target data and tasks. In this paper, we propose to optimize image recognition models and data augmentation policies simultaneously to improve the performance using gradient descent. Unlike prior methods, our approach avoids using proxy tasks or reducing search space, and can directly improve the validation performance. Our method achieves efficient and scalable training by approximating the gradient of policies by implicit gradient with Neumann series approximation. We demonstrate that our approach can improve the performance of various image classification tasks, including ImageNet classification and fine-grained recognition, without using dataset-specific hyperparameter tuning.

研究动机与目标

• 解决现有数据增强优化方法依赖代理任务或搜索空间缩减的局限性。
• 实现通过梯度下降对模型权重和增强策略进行直接、端到端的联合优化。
• 在无需高昂计算成本的前提下，将双层优化扩展至ImageNet等大规模数据集。
• 在包括细粒度分类和自监督学习在内的多样化图像识别任务中提升泛化能力和性能。

提出的方法

• MADAO将数据增强优化建模为双层问题：同时优化模型权重和增强策略参数。
• 采用隐式梯度近似，避免计算Hessian逆矩阵或在内层优化循环中反向传播。
• 通过Neumann级数近似，高效估计验证损失关于增强策略参数的梯度。
• 该方法可无缝集成至标准训练流程，计算和内存开销极小。
• 利用近似隐式梯度进行梯度下降更新策略，直接优化验证性能。
• 该方法避免使用代理任务和搜索空间缩减，实现对增强空间的完整探索。

实验结果

研究问题

• RQ1 我们能否在不依赖代理任务或搜索空间缩减的前提下，联合优化深度学习模型和数据增强策略？
• RQ2 如何高效计算双层数据增强优化中内层优化循环的梯度？
• RQ3 使用Neumann级数的隐式梯度近似能否实现在ImageNet等大规模数据集上的可扩展训练？
• RQ4 联合优化是否能在包括细粒度数据集在内的多样化图像分类基准上带来更优性能？
• RQ5 MADAO能否在无需针对数据集调优的情况下，提升自监督学习设置下的性能？

主要发现

• 在CIFAR-10上，MADAO使用WideResNet-28-2实现4.6%的测试错误率，优于基线（4.8%）和AutoAugment（4.7%）。
• 在CIFAR-100上，MADAO将错误率降低至23.9%（使用WideResNet-28-2），优于标准基线的24.8%。
• 在SVHN上，MADAO实现2.5%的测试错误率，优于RandAugment（2.6%）和基线（2.9%）。
• 在ImageNet上，MADAO在监督学习下使用ResNet-50实现23.0%的top-1准确率，优于标准基线（23.7%）和RandAugment（22.5%）。
• 在自监督学习中，MADAO在ImageNet上实现39.6%的top-1错误率，与RandAugment持平（39.6%），优于标准基线（42.1%）。
• 在细粒度数据集上，MADAO相比RandAugment将错误率降低最多达3.0个百分点，例如在Pet数据集上从15.0%降至12.5%。