[论文解读] Fast and Furious Convergence: Stochastic Second Order Methods under Interpolation

Si Yi Meng, Sharan Vaswani+3 more|arXiv (Cornell University)|Oct 10, 2019

Stochastic Gradient Optimization Techniques被引用 9

一句话总结

本文提出了一种正则化子采样牛顿法（R-SSN），在光滑且强凸函数下，使用固定小批量大小和自适应步长，于插值条件下实现了全局线性收敛。此外，本文还表明R-SSN在批量大小增长时可实现局部二次收敛，并在插值条件下建立了随机L-BFGS的全局线性收敛性，实验证明其在合成数据集和真实数据集上均实现了迭代次数和实际运行时间的快速收敛。

ABSTRACT

We consider stochastic second-order methods for minimizing smooth and strongly-convex functions under an interpolation condition satisfied by over-parameterized models. Under this condition, we show that the regularized subsampled Newton method (R-SSN) achieves global linear convergence with an adaptive step-size and a constant batch-size. By growing the batch size for both the subsampled gradient and Hessian, we show that R-SSN can converge at a quadratic rate in a local neighbourhood of the solution. We also show that R-SSN attains local linear convergence for the family of self-concordant functions. Furthermore, we analyze stochastic BFGS algorithms in the interpolation setting and prove their global linear convergence. We empirically evaluate stochastic L-BFGS and a "Hessian-free" implementation of R-SSN for binary classification on synthetic, linearly-separable datasets and real datasets under a kernel mapping. Our experimental results demonstrate the fast convergence of these methods, both in terms of the number of iterations and wall-clock time.

研究动机与目标

• 分析在过参数化模型中常见的插值条件下，随机二阶方法的收敛性。
• 建立使用固定小批量大小和自适应步长的R-SSN的全局线性收敛性。
• 证明当批量大小增长时，R-SSN在插值条件下可实现局部二次收敛。
• 将收敛性分析扩展至自共轭函数，并分析插值条件下随机L-BFGS的收敛性。
• 通过实验验证R-SSN和随机L-BFGS在迭代次数和实际运行时间上的快速收敛性。

提出的方法

• 提出正则化子采样牛顿法（R-SSN），利用训练样本批次计算子采样海森矩阵和梯度。
• 应用Levenberg-Marquardt正则化，以确保唯一更新方向和稳定性。
• 采用自适应步长和固定小批量大小，实现期望意义下的全局线性收敛。
• 分析批量大小增长时的收敛性，以在解的邻域内实现线性-二次收敛。
• 将分析扩展至自共轭函数，证明在插值条件下R-SSN的局部线性收敛性。
• 分析随机L-BFGS并证明其在插值条件下的全局线性收敛性。

实验结果

研究问题

• RQ1 在固定小批量大小和自适应步长下，R-SSN是否能在插值条件下实现全局线性收敛？
• RQ2 在R-SSN中增大批量大小是否可在插值条件下实现局部二次收敛？
• RQ3 R-SSN的收敛性保证是否可扩展至插值条件下的自共轭函数？
• RQ4 随机L-BFGS是否在插值条件下实现全局线性收敛？
• RQ5 R-SSN和随机L-BFGS相较于一阶方法，在收敛速度和实际运行时间方面表现如何？

主要发现

• 在强凸函数的插值条件下，使用固定小批量大小和自适应步长，R-SSN实现了期望意义下的全局线性收敛。
• 当批量大小增长时，R-SSN在解的邻域内实现了局部线性-二次收敛，优于以往方法对更快批量增长的需求。
• 在插值条件下，R-SSN对自共轭函数实现了期望意义下的局部线性收敛。
• 证明了随机L-BFGS在插值条件下的全局线性收敛性。
• 实验结果表明，R-SSN和随机L-BFGS在合成数据集和真实数据集上，相较于一阶方法，均在迭代次数和实际运行时间上实现了更快收敛。