[论文解读] Fast AutoAugment.

Sungbin Lim, Ildoo Kim+3 more|arXiv (Cornell University)|May 1, 2019

Advanced Neural Network Applications参考文献 25被引用 95

一句话总结

Fast AutoAugment 提出了一种基于密度匹配的搜索策略，与 AutoAugment 相比，将有效数据增强策略的搜索速度提升了数个数量级，在 CIFAR-10、CIFAR-100、SVHN 和 ImageNet 上实现了相当的性能，同时显著减少了 GPU 使用时间。

ABSTRACT

Data augmentation is an essential technique for improving generalization ability of deep learning models. Recently, AutoAugment has been proposed as an algorithm to automatically search for augmentation policies from a dataset and has significantly enhanced performances on many image recognition tasks. However, its search method requires thousands of GPU hours even for a relatively small dataset. In this paper, we propose an algorithm called Fast AutoAugment that finds effective augmentation policies via a more efficient search strategy based on density matching. In comparison to AutoAugment, the proposed algorithm speeds up the search time by orders of magnitude while achieves comparable performances on image recognition tasks with various models and datasets including CIFAR-10, CIFAR-100, SVHN, and ImageNet.

研究动机与目标

• 为解决 AutoAugment 搜索过程计算成本过高的问题，其搜索过程需要数千小时的 GPU 时间。
• 开发一种更高效的增强策略搜索方法，同时保持高模型性能。
• 实现在多种图像识别数据集上快速且可扩展的有效增强策略搜索。
• 在不牺牲准确率的前提下，降低自动数据增强的时间和资源需求。

提出的方法

• 该方法采用密度匹配来引导增强策略的搜索，通过建模增强数据的分布以匹配目标数据分布。
• 将搜索过程形式化为一个优化问题，以最小化增强数据分布与原始训练数据分布之间的差异。
• 算法使用可微分的搜索空间和基于梯度的优化方法，以高效探索增强操作及其超参数。
• 利用代理验证集在搜索过程中评估策略性能，从而减少对完整训练周期的需求。
• 通过使用小部分数据和轻量级模型来近似预期准确率，从而加速搜索过程。
• 最终策略基于在验证集上的表现进行选择，以确保其在下游任务中的泛化能力。

实验结果

研究问题

• RQ1 更高效的搜索策略是否能显著降低 AutoAugment 的计算成本，同时保持或提升性能？
• RQ2 在搜索效率和准确率方面，密度匹配与强化学习相比表现如何？
• RQ3 在不降低图像识别基准测试中模型泛化能力的前提下，搜索时间最多可减少多少？
• RQ4 所提出的方法在 CIFAR-10、CIFAR-100、SVHN 和 ImageNet 等不同数据集上的可扩展性如何？

主要发现

• 与 AutoAugment 相比，Fast AutoAugment 在所有评估数据集上将搜索时间减少了数个数量级，实现了显著的速度提升。
• 该方法在 CIFAR-10、CIFAR-100、SVHN 和 ImageNet 上实现了与 AutoAugment 相当的性能，准确率下降可忽略不计。
• 即使在大规模数据集如 ImageNet 上，该方法的搜索过程仍具有可扩展性和有效性，同时以更低的计算成本保持了高准确率。
• 使用密度匹配可实现更快的收敛速度和更稳定的优化过程。