[论文解读] Probabilistic Line Searches for Stochastic Optimization

Maren Mahsereci, Philipp Hennig|arXiv (Cornell University)|Feb 10, 2015

Gaussian Processes and Bayesian Inference参考文献 29被引用 24

一句话总结

本文提出了一种用于随机优化的概率线搜索方法，通过将目标函数建模为高斯过程并利用贝叶斯推断对Wolfe条件进行概率评估，从而取代手动学习率调优。该方法在各种初始学习率下均实现了接近最优的性能，且计算开销极低，有效消除了随机梯度下降（SGD）中对超参数调优的需求。

ABSTRACT

In deterministic optimization, line searches are a standard tool ensuring stability and efficiency. Where only stochastic gradients are available, no direct equivalent has so far been formulated, because uncertain gradients do not allow for a strict sequence of decisions collapsing the search space. We construct a probabilistic line search by combining the structure of existing deterministic methods with notions from Bayesian optimization. Our method retains a Gaussian process surrogate of the univariate optimization objective, and uses a probabilistic belief over the Wolfe conditions to monitor the descent. The algorithm has very low computational cost, and no user-controlled parameters. Experiments show that it effectively removes the need to define a learning rate for stochastic gradient descent.

研究动机与目标

• 为解决随机梯度下降（SGD）中学习率选择这一关键挑战，该挑战显著影响收敛性和性能。
• 将适用于无噪声优化的确定性线搜索框架拓展至存在噪声的随机设置中，传统方法因梯度不确定性而失效。
• 开发一种无需参数、轻量级的算法，可在SGD中自动适应步长，而无需用户定义的超参数或辅助统计量。
• 通过在Wolfe条件上建立概率信念，即使在梯度噪声存在的情况下，也能通过确保充分下降和曲率条件来稳定SGD的实际训练。
• 证明该方法在无需探索性超参数调优的情况下，于多个数据集和网络架构上均能达到与最优调优SGD相当的性能。

提出的方法

• 该方法将沿搜索方向的一维线搜索目标建模为高斯过程，从而实现在步长上的不确定性感知优化。
• 它维护一个关于候选步长是否满足Wolfe准则中Armijo（充分下降）和曲率（非停滞）条件的概率信念。
• 该算法利用贝叶斯推断，基于函数值和梯度评估结果更新对可接受步长的信念，避免在噪声下做出硬性决策。
• 采用顺序设计：首先外推以找到具有正梯度的点，随后利用概率置信区间进行插值和区间嵌套。
• 线搜索被实现为轻量级、黑箱子程序，无用户可控参数，可与任何随机优化方法集成。
• 计算开销极低——每次线搜索平均仅需约1.4次函数评估，因此可扩展至高维问题。

实验结果

研究问题

• RQ1 能否构建一种概率线搜索方法，在存在梯度噪声的情况下仍能可靠识别可接受的步长？
• RQ2 此类方法能否在保持或提升收敛性能的同时，消除SGD中手动学习率调优的需求？
• RQ3 该概率线搜索方法在不同初始学习率和数据集上的性能，与最优调优SGD相比如何？
• RQ4 该方法在训练过程中动态调整步长的程度如何，是否反映出实际中对学习率调度的实证需求？
• RQ5 该方法的计算开销如何？其随问题维度的扩展性如何？

主要发现

• 无论初始学习率如何，该概率线搜索在MNIST和CIFAR-10数据集上的测试误差均与最佳调优SGD实例相当。
• 在初始学习率值跨越五个数量级的范围内，该方法始终稳定训练并达到接近最优性能，且无需任何手动调优。
• 平均每次线搜索仅需1.4次函数评估，其中80–90%在首次评估后即终止，表明其具有极高的效率和快速收敛能力。
• 该方法有效消除了探索性超参数搜索的需求，单次运行（α₀ = 1.0）即达到与最佳调优SGD配置相当的性能。
• 每次线搜索的平均时间开销约为48ms，且与问题维度无关，表明其在生产环境优化中具有强大潜力。
• 该算法随时间动态调整步长，反映出与实际中学习率调度需求一致的非平凡适应性。