[论文解读] Improving Auto-Augment via Augmentation-Wise Weight Sharing

Keyu Tian, Lin Chen+4 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Neural Network Applications被引用 6

一句话总结

本文提出了一种增强方式权重共享（Augmentation-Wise Weight Sharing, AWS）方法，这是一种用于自动增强搜索的快速且准确的代理评估方法，可在训练过程中跨不同增强方式共享模型权重。通过利用增强训练的动力学特性，AWS 实现了高效且可靠的策略搜索，在性能上达到当前最先进水平：在 CIFAR-10 上实现 1.24% 的 top-1 错误率，在 ImageNet 上使用 ResNet-50 时达到 20.36% 的错误率，相比基线方法绝对提升了 3.34%。

ABSTRACT

The recent progress on automatically searching augmentation policies has boosted the performance substantially for various tasks. A key component of automatic augmentation search is the evaluation process for a particular augmentation policy, which is utilized to return reward and usually runs thousands of times. A plain evaluation process, which includes full model training and validation, would be time-consuming. To achieve efficiency, many choose to sacrifice evaluation reliability for speed. In this paper, we dive into the dynamics of augmented training of the model. This inspires us to design a powerful and efficient proxy task based on the Augmentation-Wise Weight Sharing (AWS) to form a fast yet accurate evaluation process in an elegant way. Comprehensive analysis verifies the superiority of this approach in terms of effectiveness and efficiency. The augmentation policies found by our method achieve superior accuracies compared with existing auto-augmentation search methods. On CIFAR-10, we achieve a top-1 error rate of 1.24%, which is currently the best performing single model without extra training data. On ImageNet, we get a top-1 error rate of 20.36% for ResNet-50, which leads to 3.34% absolute error rate reduction over the baseline augmentation.

研究动机与目标

• 为解决自动增强搜索中标准评估流程效率低下且不可靠的问题，后者需要为每种策略进行完整的模型训练。
• 在不牺牲评估准确性的前提下，提升增强策略评估的速度。
• 开发一种代理评估方法，以捕捉增强训练的核心动力学特性。
• 通过单一模型在标准基准（如 CIFAR-10 和 ImageNet）上实现当前最先进性能。

提出的方法

• 提出增强方式权重共享（AWS），在训练过程中跨不同增强方式共享模型权重，以降低计算成本。
• 基于 AWS 设计代理任务，以高效评估增强策略，避免对每个候选策略进行完整微调。
• 利用模型在多样化增强下的动态行为，构建快速且可靠的评估信号。
• 在强化学习或搜索框架中应用基于 AWS 的代理评估，以识别最优增强策略。
• 训练一个单一模型，其权重在不同增强方式间共享，从而实现对多种增强策略的并行评估。

实验结果

研究问题

• RQ1 能否设计一种代理评估方法，在加速自动增强搜索的同时保持高评估可靠性？
• RQ2 在增强方式之间共享权重如何影响策略搜索中评估信号的质量？
• RQ3 所提出的基于 AWS 的方法是否在速度与准确性方面均优于现有自动增强方法？
• RQ4 AWS 在多大程度上能够提升模型在标准基准（如 CIFAR-10 和 ImageNet）上的泛化能力与性能？

主要发现

• 所提出的基于 AWS 的方法在 CIFAR-10 上实现了 1.24% 的 top-1 错误率，这是在不使用额外训练数据的单一模型中当前最先进水平。
• 在使用 ResNet-50 的 ImageNet 上，该方法将 top-1 错误率降低至 20.36%，相比基线增强方法绝对提升了 3.34%。
• 使用 AWS 的评估过程相比基于完整训练的评估显著更快，使得在数千种策略中进行高效搜索成为可能。
• 全面分析表明，AWS 在大幅降低计算成本的同时，仍保持了高度的评估可靠性。