[论文解读] Second Order Stochastic Optimization in Linear Time.

Naman Agarwal, Brian Bullins+1 more|arXiv (Cornell University)|Feb 12, 2016

Stochastic Gradient Optimization Techniques参考文献 10被引用 42

一句话总结

该论文提出了一种新颖的二阶随机优化方法，通过利用高效的矩阵随机化技术，在每轮迭代成本与梯度下降相当的情况下实现了线性收敛。该方法在凸基准测试中显著加快了线性分类器的训练速度，同时表明一阶方法也可在自共轭函数的特殊情况下实现与条件数无关的线性收敛。

ABSTRACT

Stochastic optimization and, in particular, first-order stochastic methods are a cornerstone of modern machine learning due to their extremely efficient per-iteration computational cost. Second-order methods, while able to provide faster per-iteration convergence, have been much less explored due to the high cost of computing the second-order information. In this paper we develop a second-order stochastic method for optimization problems arising in machine learning based on novel matrix randomization techniques that match the per-iteration cost of gradient descent, yet enjoy the linear-convergence properties of second-order optimization. We also consider the special case of self-concordant functions where we show that a first order method can achieve linear convergence with guarantees independent of the condition number. We demonstrate significant speedups for training linear classifiers over several convex benchmarks.

研究动机与目标

• 为解决二阶方法在机器学习中计算成本过高的问题，尽管其收敛速度快，但实际应用受限。
• 开发一种随机优化方法，既能保持一阶方法的低每轮迭代成本，又能实现二阶方法的快速线性收敛。
• 探索在自共轭函数的特殊情况下，一阶方法是否能实现与条件数无关的线性收敛。
• 在凸基准上对所提方法进行实证验证，尤其关注线性分类任务。

提出的方法

• 该方法采用新颖的矩阵随机化技术，高效地近似二阶信息，从而降低计算开销。
• 其每轮迭代成本与梯度下降相当，同时融入曲率信息以实现更快收敛。
• 对于自共轭函数，该方法推导出与条件数无关的收敛性保证，这是重要的理论改进。
• 通过使用随机化Hessian近似，避免完整Hessian矩阵的计算，从而实现大规模问题的可扩展性。
• 该算法设计为与标准随机优化框架兼容，可无缝集成到现有训练流程中。

实验结果

研究问题

• RQ1 是否可以在每轮迭代成本与一阶方法相当的情况下，在随机优化中有效利用二阶信息？
• RQ2 矩阵随机化技术是否能实现高效Hessian近似，同时不牺牲收敛速度？
• RQ3 在一阶方法中，对于自共轭函数是否能实现与条件数无关的线性收敛？
• RQ4 在凸基准上，该方法与一阶和二阶基线方法相比，在收敛速度和训练效率方面表现如何？

主要发现

• 所提出的二阶随机优化方法在计算成本与梯度下降相当的情况下实现了线性收敛。
• 该方法在多个凸基准上显著加快了线性分类器的训练速度，优于标准的一阶方法。
• 对于自共轭函数，一阶变体实现了与条件数无关的线性收敛保证。
• 矩阵随机化技术实现了低成本下的精确Hessian近似，使二阶方法在大规模机器学习中具备实用性。