[论文解读] Learning data augmentation policies using augmented random search

Mingyang Geng, Kele Xu+3 more|arXiv (Cornell University)|Nov 12, 2018

Advanced Neural Network Applications参考文献 13被引用 12

一句话总结

该论文提出 ARS-Aug，一种将 AutoAugment 的数据增强策略离散搜索空间替换为使用增强随机搜索（Augmented Random Search, ARS）的连续搜索空间的方法，从而实现更高效、更精确的策略发现。该方法在不使用额外数据的情况下，在 CIFAR-10（1.26% 错误率）、CIFAR-100（10.24% 错误率）和 ImageNet（83.88% Top-1 准确率）上实现了最先进性能。

ABSTRACT

Previous attempts for data augmentation are designed manually, and the augmentation policies are dataset-specific. Recently, an automatic data augmentation approach, named AutoAugment, is proposed using reinforcement learning. AutoAugment searches for the augmentation polices in the discrete search space, which may lead to a sub-optimal solution. In this paper, we employ the Augmented Random Search method (ARS) to improve the performance of AutoAugment. Our key contribution is to change the discrete search space to continuous space, which will improve the searching performance and maintain the diversities between sub-policies. With the proposed method, state-of-the-art accuracies are achieved on CIFAR-10, CIFAR-100, and ImageNet (without additional data). Our code is available at https://github.com/gmy2013/ARS-Aug.

研究动机与目标

• 为解决 AutoAugment 因使用离散搜索空间进行数据增强策略而导致的次优性能问题。
• 通过将离散搜索空间重新表述为连续空间，提升搜索效率和策略多样性。
• 利用增强随机搜索（ARS）的高样本效率，实现对策略空间更优的探索。
• 通过自动学习的数据增强策略，在图像分类基准上实现最先进准确率。
• 证明连续优化可生成性能更优、更具多样性的数据增强策略，优于离散搜索。

提出的方法

• 通过在连续空间中参数化操作、概率和强度，将数据增强策略搜索问题重新表述为连续优化任务。
• 对 ARS 的原始输出应用 Sigmoid 函数，以归一化结果，确保策略参数的有效性（例如，概率值在 0 到 1 之间）。
• 使用 ARS 在当前策略参数周围采样扰动，通过训练子模型评估性能，并基于表现最佳的方向更新策略。
• 通过连接采样的操作-概率-强度三元组，每项完整策略生成 25 个子策略，以增强多样性与泛化能力。
• 使用从连续搜索空间生成的策略训练并验证子模型，奖励基于验证准确率。
• 保持与 AutoAugment 的策略结构一致（每个子策略包含两个操作），但通过将强度值精确到小数点后两位，提升精度。

实验结果

研究问题

• RQ1 将 AutoAugment 中的离散搜索空间替换为连续搜索空间，是否能生成性能更优的数据增强策略？
• RQ2 增强随机搜索（ARS）的高样本效率是否能实现比离散搜索更有效的策略空间探索？
• RQ3 连续优化是否能生成比离散采样更具多样性与有效性的子策略，从而提升模型泛化能力？
• RQ4 ARS-Aug 是否在标准视觉基准（如 CIFAR-10、CIFAR-100 和 ImageNet）上实现了最先进性能，且无需额外数据？
• RQ5 在连续搜索中，强度值的精度（小数点后两位 vs. 一位）对策略性能有何影响？

主要发现

• 在 CIFAR-10 上，ARS-Aug 实现了 1.26% 的测试错误率，较 AutoAugment 的 1.48% 降低了 0.22%。
• 在 CIFAR-100 上，ARS-Aug 将错误率降低至 10.24%，优于 AutoAugment 的 10.67%。
• 在 ImageNet 上，ARS-Aug 实现了 83.88% 的 Top-1 准确率，其 Top-1 错误率分别为 16.12%（AmoebaNet-C）和 19.76%（ResNet-200），优于 AutoAugment。
• 该方法发现的策略更强调基于颜色和旋转的变换，且在小批量中子策略的应用具有高度多样性。
• 连续搜索空间实现了更精确的强度控制（小数点后两位）和更高的策略多样性，有助于提升泛化性能。
• ARS-Aug 保持了高计算效率，支持在不同随机种子和超参数下进行广泛探索。