[论文解读] Online Hyper-parameter Learning for Auto-Augmentation Strategy

Chen Lin, Minghao Guo+6 more|arXiv (Cornell University)|May 17, 2019

Advanced Neural Network Applications参考文献 35被引用 9

一句话总结

该论文提出了一种在线超参数学习的自动增强方法（OHL-Auto-Aug），将数据增强策略建模为可学习的概率分布，并通过双层优化框架与神经网络权重联合优化。该方法实现了无需离线搜索或微调的在线端到端增强策略训练，在CIFAR-10上实现60倍的搜索加速，在ImageNet上实现24倍的加速，同时达到或超越当前最先进性能的准确率。

ABSTRACT

Data augmentation is critical to the success of modern deep learning techniques. In this paper, we propose Online Hyper-parameter Learning for Auto-Augmentation (OHL-Auto-Aug), an economical solution that learns the augmentation policy distribution along with network training. Unlike previous methods on auto-augmentation that search augmentation strategies in an offline manner, our method formulates the augmentation policy as a parameterized probability distribution, thus allowing its parameters to be optimized jointly with network parameters. Our proposed OHL-Auto-Aug eliminates the need of re-training and dramatically reduces the cost of the overall search process, while establishes significantly accuracy improvements over baseline models. On both CIFAR-10 and ImageNet, our method achieves remarkable on search accuracy, 60x faster on CIFAR-10 and 24x faster on ImageNet, while maintaining competitive accuracies.

研究动机与目标

• 为解决离线自动增强搜索带来的高计算成本问题，该方法避免了在子集数据上训练数千种策略的开销。
• 通过将策略学习整合到主训练循环中，消除在增强策略搜索过程中重新训练的需要。
• 实现在大规模数据集（如ImageNet）上无需数据子采样的高效可扩展自动增强。
• 将数据增强策略优化为可微分的超参数，使其在神经网络训练过程中实时演化。

提出的方法

• 将增强策略建模为参数化的概率分布，将其参数视为需优化的超参数。
• 提出一种双层优化框架：内层循环通过SGD最小化标准训练损失，外层循环使用REINFORCE梯度最大化验证准确率。
• 采用轨迹采样来估计增强策略参数的梯度，实现在训练过程中的在线更新。
• 在每个时间步，将表现最佳的网络权重广播至所有轨迹样本，以稳定策略学习。
• 采用可微分的连续参数化方式表示离散的增强操作，从而支持基于梯度的优化。
• 在单一统一的训练过程中，端到端联合训练网络与增强策略参数。

实验结果

研究问题

• RQ1 是否可以在模型训练过程中在线学习数据增强策略，从而消除对离线搜索的依赖？
• RQ2 将增强策略参数与网络权重联合优化，对最终模型准确率和训练效率有何影响？
• RQ3 不同学习率和轨迹采样数量对策略收敛性和性能有何影响？
• RQ4 所提方法是否能在无需数据子采样的情况下，实现在ImageNet等大规模数据集上的最先进准确率？

主要发现

• OHL-Auto-Aug在CIFAR-10上比Auto-Augment快60倍，在ImageNet上快24倍，且准确率相当或更优。
• 该方法可在不进行数据缩减的情况下对完整数据集进行训练，避免了因子采样导致的性能偏差。
• 增强策略分布可在训练过程中收敛，部分操作被舍弃，而其他操作则因数据集特性获得高概率。
• 学习率 $\eta_{\theta} = 5 \times 10^{-2}$ 在收敛速度与性能之间提供了最佳平衡。
• 使用8个轨迹采样已接近最优性能，进一步增加采样数带来的收益微乎其微，实现了成本与准确率的合理权衡。
• 所学习的增强策略在不同数据集上表现不同——例如，'Color Invert'在CIFAR-10上被舍弃，但在ImageNet上被保留，体现了方法的自适应能力。