[论文解读] Accelerating Adaptive Cubic Regularization of Newton's Method via Random Sampling

Xi Chen, Bo Jiang+2 more|arXiv (Cornell University)|Feb 15, 2018

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文提出SACR，一种用于大规模非凸优化问题的加速自适应三阶正则化方法。通过使用均匀或非均匀随机采样来近似Hessian矩阵，SACR在高概率下实现了$\mathcal{O}(\epsilon^{-1/3})$的全局迭代复杂度——与完整Hessian矩阵的加速方法相当——同时在真实数据集上保持了鲁棒性和高效性。

ABSTRACT

In this paper, we consider an unconstrained optimization model where the objective is a sum of a large number of possibly nonconvex functions, though overall the objective is assumed to be smooth and convex. Our bid to solving such model uses the framework of cubic regularization of Newton's method. As well known, the crux in cubic regularization is its utilization of the Hessian information, which may be computationally expensive for large-scale problems. To tackle this, we resort to approximating the Hessian matrix via sub-sampling. In particular, we propose to compute an approximated Hessian matrix by either extit{uniformly}\/ or extit{non-uniformly}\/ sub-sampling the components of the objective. Based upon such sampling strategy, we develop accelerated adaptive cubic regularization approaches and provide theoretical guarantees on global iteration complexity of $O(ε^{-1/3})$ with high probability, which matches that of the original accelerated cubic regularization methods \cite{Jiang-2017-Unified} using the extit{full}\/ Hessian information. Interestingly, we show that in the worst case scenario our algorithm still achieves an $O\left(\log(ε^{-1})ε^{-5/6} ight)$ iteration complexity bound. The performances of the proposed methods on the regularized logistic regression problems show a clear effect of acceleration in terms of the epoch counts on several real data sets.

研究动机与目标

• 解决大规模问题中三阶正则化牛顿法的Hessian矩阵计算成本过高的问题。
• 开发一种自适应、无需调参的算法，避免对梯度和Hessian矩阵的Lipschitz常数的显式知识。
• 在使用子采样Hessian近似的同时，实现与完整Hessian方法相当的加速收敛速率。
• 在随机采样下，即使在最坏情况下，也确保迭代复杂度的理论保证。
• 在大规模数据集的正则化逻辑回归问题上，展示实际效率。

提出的方法

• 通过有限和目标中分量函数的均匀或非均匀采样，提出子采样Hessian矩阵近似方法。
• 将子采样Hessian矩阵集成到自适应三阶正则化框架中，以稳定并加速收敛。
• 采用随机采样策略，在降低Hessian矩阵计算成本的同时，保持全局收敛的保证。
• 应用广义共轭梯度方法高效求解子问题，从而实现高维问题的可扩展性。
• 设计一种自适应步长规则，根据局部曲率和采样方差进行调整，无需事先了解问题参数。
• 利用新颖的证明技术，建立在采样不确定性下的高概率复杂度界。

实验结果

研究问题

• RQ1 是否可以仅使用子采样Hessian近似，而无需完整Hessian矩阵计算，来加速自适应三阶正则化方法？
• RQ2 在高概率采样保证下，此类子采样加速方法的全局迭代复杂度是多少？
• RQ3 当采样质量较差时，该算法在最坏情况下的表现如何？
• RQ4 该方法是否能在计算高效的同时，保持与完整Hessian加速方法相当的收敛速率？
• RQ5 在大规模机器学习问题中，该算法是否在实践中优于标准随机和拟牛顿方法？

主要发现

• SACR在高概率下实现了$\mathcal{O}(\epsilon^{-1/3})$的全局迭代复杂度，与完整Hessian加速方法的理论速率一致。
• 在最坏情况下，该算法仍能达到$\mathcal{O}(\epsilon^{-5/6}\log(\epsilon^{-1}))$的迭代复杂度，展现出良好的鲁棒性。
• 在八个真实数据集上的实验结果表明，SACR在收敛速度和解的精度方面均优于SGD、LBFGS、小批量LBFGS和ACR。
• 由于子采样策略，该算法比其确定性对应方法（ACR）更高效，尤其在高维设置下优势明显。
• 即使Hessian矩阵被近似，SACR仍能保持快速收敛，且通过共轭梯度方法使子问题求解保持高效。
• 所提出的证明技术具有新颖性，可能对分析随机二阶方法具有独立的研究价值。