[论文解读] A Stochastic Trust Region Algorithm

Frank E. Curtis, Katya Scheinberg+1 more|arXiv (Cornell University)|Dec 29, 2017

Stochastic Gradient Optimization Techniques参考文献 18被引用 2

一句话总结

该论文提出了一种随机信赖域算法，当梯度估计范数落在用户定义的范围内时使用归一化步长，并在归一化步长与标准步长之间动态切换。该算法在数值实验中展现出与传统随机梯度方法相当的收敛速率，同时在凸与非凸机器学习问题上表现出更优的性能。

ABSTRACT

An algorithm is proposed for solving stochastic and finite sum minimization problems. Based on a trust region methodology, the algorithm employs normalized steps, at least as long as the norms of the stochastic gradient estimates are within a user-defined interval. The complete algorithm---which dynamically chooses whether or not to employ normalized steps---is proved to have convergence guarantees that are similar to those possessed by a traditional stochastic gradient approach under various sets of conditions related to the accuracy of the stochastic gradient estimates and choice of stepsize sequence. The results of numerical experiments are presented when the method is employed to minimize convex and nonconvex machine learning test problems, illustrating that the method can outperform a traditional stochastic gradient approach.

研究动机与目标

• 开发一种适用于有限和与随机最小化问题的鲁棒随机优化算法。
• 通过根据梯度估计范数动态选择归一化步长与标准步长，改善收敛行为。
• 在关于梯度精度与步长序列的合理假设下，保持与随机梯度方法相似的理论收敛保证。
• 通过实验验证该算法在实际机器学习问题上相对于标准随机梯度方法的优越性。

提出的方法

• 该算法采用信赖域框架，根据随机梯度估计的范数调整步长。
• 当随机梯度估计的范数位于用户定义的区间内时，使用归一化步长。
• 算法根据当前梯度估计的大小动态决定采用归一化步长还是标准步长。
• 在与随机梯度估计精度及步长序列选择相关的条件下分析收敛性。
• 该方法在这些条件下确保与传统随机梯度方法相似的收敛保证。
• 通过在凸与非凸机器学习测试问题上进行数值实验，评估算法的性能。

实验结果

研究问题

• RQ1 在合理的梯度精度与步长条件假设下，基于信赖域的随机算法是否能保持与标准随机梯度方法相当的收敛速率？
• RQ2 在随机优化中，归一化步长与标准步长之间的动态切换如何影响收敛性与性能？
• RQ3 所提出的算法是否在凸与非凸机器学习问题上均优于传统的随机梯度方法？
• RQ4 用户定义的梯度范数区间对算法稳定性与收敛性有何影响？
• RQ5 当随机梯度噪声水平变化时，该算法的行为如何？

主要发现

• 在标准的梯度精度与步长序列假设下，所提算法实现了与传统随机梯度方法相似的收敛保证。
• 数值实验表明，该算法在凸与非凸机器学习测试问题上均优于标准随机梯度方法。
• 在指定梯度范数区间内使用归一化步长可提升稳定性与收敛行为。
• 动态步长选择在不牺牲理论收敛性质的前提下增强了性能。
• 该方法在不同类型问题中表现出鲁棒性，包括机器学习中常见的非凸优化任务。