[论文解读] Adaptively Accelerating Cubic Regularized Newton's Methods for Convex Optimization via Random Sampling

Xi Chen, Bo Jiang+2 more|arXiv (Cornell University)|Feb 15, 2018

Sparse and Compressive Sensing Techniques参考文献 51被引用 12

一句话总结

该论文提出了一种用于大规模凸优化的自适应、子采样三阶正则化牛顿方法，通过均匀或非均匀采样来近似海森矩阵。其在高概率下实现了 O(ε⁻¹ᐟ³) 的迭代复杂度——与完整海森矩阵方法一致，同时保持了 O(log(ε⁻¹)ε⁻⁵ᐟ⁶) 的最坏情况边界，展示了在逻辑回归任务中的加速效果。

ABSTRACT

In this paper, we consider an unconstrained optimization model where the objective is a sum of a large number of possibly nonconvex functions, though overall the objective is assumed to be smooth and convex. Our bid to solving such model uses the framework of cubic regularization of Newton's method. As well known, the crux in cubic regularization is its utilization of the Hessian information, which may be computationally expensive for large-scale problems. To tackle this, we resort to approximating the Hessian matrix via sub-sampling. In particular, we propose to compute an approximated Hessian matrix by either extit{uniformly}\/ or extit{non-uniformly}\/ sub-sampling the components of the objective. Based upon such sampling strategy, we develop accelerated adaptive cubic regularization approaches and provide theoretical guarantees on global iteration complexity of $O(\epsilon^{-1/3})$ with high probability, which matches that of the original accelerated cubic regularization methods \cite{Jiang-2017-Unified} using the extit{full}\/ Hessian information. Interestingly, we show that in the worst case scenario our algorithm still achieves an $O\left(\log(\epsilon^{-1})\epsilon^{-5/6} ight)$ iteration complexity bound. The performances of the proposed methods on the regularized logistic regression problems show a clear effect of acceleration in terms of the epoch counts on several real data sets.

研究动机与目标

• 解决大规模问题中三阶正则化牛顿方法海森矩阵计算的高成本问题。
• 通过目标函数分量的均匀和非均匀采样，开发高效的海森矩阵近似策略。
• 在使用子采样海森矩阵信息的同时，保持加速三阶正则化方法的最优 O(ε⁻¹ᐟ³) 迭代复杂度。
• 在基于采样的海森矩阵近似下，提供收敛性的高概率理论保证。
• 在真实世界正则化逻辑回归数据集上，通过周期数实证验证方法的加速效果。

提出的方法

• 通过目标函数和结构中单个分量的子采样来近似海森矩阵。
• 采用均匀和非均匀采样策略构建海森矩阵近似，其中非均匀采样更倾向于选择信息量更大的分量。
• 将自适应三阶正则化整合到牛顿方法框架中，根据局部曲率估计动态调整正则化参数。
• 使用随机化海森矩阵近似以降低计算成本，同时保持收敛性保证。
• 应用理论分析，推导在采样条件下的迭代复杂度边界，证明高概率收敛性。

实验结果

研究问题

• RQ1 在三阶正则化牛顿方法中，子采样海森矩阵近似能否保持完整海森矩阵方法的 O(ε⁻¹ᐟ³) 迭代复杂度？
• RQ2 在海森矩阵近似中，非均匀采样与均匀采样在收敛速度和稳定性方面有何差异？
• RQ3 所提出的子采样方法的最坏情况迭代复杂度是多少？与完整海森矩阵方法相比如何？
• RQ4 该方法能否在真实世界机器学习问题中实现以周期数衡量的实际加速？
• RQ5 在子采样条件下，能够建立哪些关于高概率收敛性的理论保证？

主要发现

• 所提方法在高概率下实现了 O(ε⁻¹ᐟ³) 的迭代复杂度，与完整海森矩阵加速三阶正则化的理论边界一致。
• 在最坏情况下，该方法保持了 O(log(ε⁻¹)ε⁻⁵ᐟ⁶) 的迭代复杂度，具有与已知边界相当的竞争力。
• 非均匀采样提升了海森矩阵近似的质量，从而在实践中促进了更快的收敛。
• 在正则化逻辑回归上的实证结果表明，多个真实数据集均显示出明显的周期数加速效果。
• 该方法在显著降低海森矩阵计算成本的同时，提供了强有力的收敛性理论保证。