[论文解读] Adaptive Stochastic Optimization

Frank E. Curtis, Katya Scheinberg|arXiv (Cornell University)|Jan 18, 2020

Stochastic Gradient Optimization Techniques参考文献 27被引用 4

一句话总结

本文提出了一种用于自适应随机优化方法的分析框架，旨在减少大规模机器学习中对人工超参数调优的需求。通过利用自适应步长策略和方差缩减技术，该框架在随机条件下实现了更优的计算效率和最优复杂度保证，确保收敛。

ABSTRACT

Optimization lies at the heart of machine learning and signal processing. Contemporary approaches based on the stochastic gradient method are non-adaptive in the sense that their implementation employs prescribed parameter values that need to be tuned for each application. This article summarizes recent research and motivates future work on adaptive stochastic optimization methods, which have the potential to offer significant computational savings when training large-scale systems.

研究动机与目标

• 解决大规模机器学习和信号处理中非自适应随机优化带来的高计算成本和手动调优负担。
• 为自适应随机优化建立理论基础，将确定性自适应方法扩展至随机设置。
• 在现实的非独立同分布（non-iid）数据采样条件下，为自适应随机算法提供收敛速率保证。
• 克服在随机设置下定义有效停止时间的挑战，这对复杂度分析至关重要。
• 为可实际应用、高效的优化算法铺平道路，使其能够动态调整步长和批量大小，而无需预先调优。

提出的方法

• 提出一种新颖的自适应随机优化分析框架，受确定性自适应方法启发，但针对随机梯度进行适配。
• 采用类似信赖域的随机方法，基于梯度估计和误差界实现自适应步长更新。
• 基于 $ε$-平稳性定义停止准则，要求 $\|\nabla f(x_{k+1})\| \leq \varepsilon$，同时考虑梯度估计中的随机采样影响。
• 采用递归步长更新规则，根据观测到的进展和误差容限进行调整，使用单一常数 $\gamma$ 同时控制增加与减少。
• 通过自适应框架隐式集成方差缩减技术，以控制梯度噪声并提高收敛稳定性。
• 在梯度估计为无偏且方差有界的假设下分析算法，确保期望收敛。

实验结果

研究问题

• RQ1 能否设计一种自适应随机优化框架，使其收敛复杂度可与确定性方法相媲美？
• RQ2 在随机设置下，如何重新定义停止时间，以在梯度估计具有随机性时仍保持理论保证？
• RQ3 在何种条件下，自适应随机算法可实现 $\mathcal{O}(\varepsilon^{-3/2})$ 的复杂度以达到 $\varepsilon$-平稳性？
• RQ4 该框架如何扩展以处理复杂子问题求解（如信赖域或三次数正则化方法）在随机条件下的情况？
• RQ5 误差界和自适应参数更新机制（例如，增加与减少使用不同的 $\gamma$）在提升实际性能和降低调优开销方面起到何种作用？

主要发现

• 所提出的分析框架为自适应随机优化提供了收敛速率保证，将确定性自适应方法的理论成果扩展至随机设置。
• 该框架解决了在随机设置下定义有效停止时间的挑战，这对复杂度分析和实际实现至关重要。
• 当设计和分析得当时，自适应随机算法可实现最优复杂度界，例如 $\mathcal{O}(\varepsilon^{-3/2})$ 的 $\varepsilon$-平稳性复杂度。
• 方差缩减技术通过自适应框架隐式集成，提高了收敛稳定性，而无需显式调整批量大小。
• 该框架可扩展至高级方法（如 TRACE 和随机信赖域算法），尽管在随机子问题求解下维持复杂度保证仍存在挑战。
• 自适应步长和动态批量大小的使用显著减少了对人工超参数调优的需求，在大规模机器学习应用中实现了显著的计算节省。