[论文解读] Embedded hyper-parameter tuning by Simulated Annealing

Matteo Fischetti, Matteo Stringher|arXiv (Cornell University)|Jun 4, 2019

Model Reduction and Neural Networks参考文献 12被引用 13

一句话总结

本文提出了一种嵌入式超参数调优方法，将模拟退火（SA）集成到随机梯度下降（SGD）中，以在训练过程中动态调整学习率。通过使用梯度引导的移动和SA接受准则，对候选超参数进行实时评估，该方法提升了泛化性能，在ResNet34和VGG16模型上对CIFAR-10数据集的验证准确率相比标准SGD最高提升了1-2%。

ABSTRACT

We propose a new metaheuristic training scheme that combines Stochastic Gradient Descent (SGD) and Discrete Optimization in an unconventional way. Our idea is to define a discrete neighborhood of the current SGD point containing a number of "potentially good moves" that exploit gradient information, and to search this neighborhood by using a classical metaheuristic scheme borrowed from Discrete Optimization. In the present paper we investigate the use of a simple Simulated Annealing (SA) metaheuristic that accepts/rejects a candidate new solution in the neighborhood with a probability that depends both on the new solution quality and on a parameter (the temperature) which is modified over time to lower the probability of accepting worsening moves. We use this scheme as an automatic way to perform hyper-parameter tuning, hence the title of the paper. A distinctive feature of our scheme is that hyper-parameters are modified within a single SGD execution (and not in an external loop, as customary) and evaluated on the fly on the current minibatch, i.e., their tuning is fully embedded within the SGD algorithm. The use of SA for training is not new, but previous proposals were mainly intended for non-differentiable objective functions for which SGD is not applied due to the lack of gradients. On the contrary, our SA method requires differentiability of (a proxy of) the loss function, and leverages on the availability of a gradient direction to define local moves that have a large probability to improve the current solution. Computational results on image classification (CIFAR-10) are reported, showing that the proposed approach leads to an improvement of the final validation accuracy for modern Deep Neural Networks such as ResNet34 and VGG16.

研究动机与目标

• 为解决深度神经网络（DNN）中超参数调优的挑战，特别是学习率选择问题，该问题通常依赖人工操作或外部循环完成。
• 开发一种方法，将超参数搜索直接嵌入单次SGD训练过程中，实现实时自适应，无需外部循环。
• 利用梯度信息定义超参数空间中的有前景局部移动，相比随机或网格搜索方法，提升了搜索效率。
• 探索随机种子作为可调超参数的作用，其对优化路径和最终泛化性能有显著影响。
• 评估基于SA的超参数调优是否能在现代DNN架构上优于标准SGD，在最终验证准确率和损失方面表现更优。

提出的方法

• 在当前SGD点周围定义超参数（如学习率）的离散邻域，利用梯度信息引导可能有益的移动。
• 使用模拟退火（SA）基于损失变化和随时间变化的温度参数，概率性地接受或拒绝候选超参数变更。
• 应用Metropolis接受准则：以概率exp(−Δ/T)接受损失增加的移动，其中Δ为损失增加量，T为随时间递减的温度。
• 在当前小批量数据上实时评估每个候选超参数变更，实现实时调优，无需存储或在完整数据集上重新评估。
• 将整个过程整合到单个SGD训练循环中，消除了对外部超参数搜索循环的需求。
• 将随机种子作为需在外部调优的超参数，因其显著影响搜索轨迹和最终模型性能。

实验结果

研究问题

• RQ1 模拟退火能否有效用于在单次SGD训练过程中调优学习率等超参数，而非在外部循环中进行？
• RQ2 将基于SA的超参数调优嵌入SGD是否能在图像分类基准上带来相比标准SGD更好的泛化性能？
• RQ3 在使用SA进行超参数调优时，随机种子如何影响优化路径和最终模型性能？
• RQ4 在超参数空间中使用基于梯度的移动是否相比完全随机或网格搜索方法能提升搜索效率？
• RQ5 所提出的方法在在多大程度上减少了对人工超参数调优的依赖，同时保持或提升模型准确率？

主要发现

• 所提出的SGD-SA方法在CIFAR-10数据集上，对ResNet34和VGG16模型的最终验证损失均显著低于标准SGD，且在所有随机种子下均观察到性能提升。
• 对于ResNet34，当综合考虑10个随机种子中的最佳运行结果时，SGD-SA相比标准SGD实现了1-2%的更高验证准确率。
• SGD-SA的训练准确率收敛速度慢于标准SGD，但最终验证准确率始终更优，表明泛化性能得到改善。
• 如SA理论预期，接受恶化移动的概率随时间递减，早期阶段接受率较高，后期阶段接近零。
• 不同随机种子导致SGD-SA中出现显著不同的优化轨迹，表明种子作为影响模型性能的关键超参数具有强大影响力。
• 使用可微分代理损失函数可实现基于梯度的移动生成，而SA接受规则允许探索非理想移动，从而增强模型鲁棒性与泛化能力。