[论文解读] DynaNewton - Accelerating Newton's Method for Machine Learning

Hadi Daneshmand, Aurélien Lucchi+1 more|arXiv (Cornell University)|May 20, 2016

Sparse and Compressive Sensing Techniques参考文献 15被引用 4

一句话总结

DynaNewton 通过动态调整样本大小和正则化强度，利用延续路径加速机器学习中的牛顿法，确保每次牛顿迭代均从二次收敛区域开始。这实现了超线性收敛并带来显著加速——在多种数据集上，通常在不到 2 个有效周期内即可达到近似最优解。

ABSTRACT

Newton's method is a fundamental technique in optimization with quadratic convergence within a neighborhood around the optimum. However reaching this neighborhood is often slow and dominates the computational costs. We exploit two properties specific to empirical risk minimization problems to accelerate Newton's method, namely, subsampling training data and increasing strong convexity through regularization. We propose a novel continuation method, where we define a family of objectives over increasing sample sizes and with decreasing regularization strength. Solutions on this path are tracked such that the minimizer of the previous objective is guaranteed to be within the quadratic convergence region of the next objective to be optimized. Thereby every Newton iteration is guaranteed to achieve super-linear contractions with regard to the chosen objective, which becomes a moving target. We provide a theoretical analysis that motivates our algorithm, called DynaNewton, and characterizes its speed of convergence. Experiments on a wide range of data sets and problems consistently confirm the predicted computational savings.

研究动机与目标

• 解决牛顿法初始阶段缓慢的问题，即在进入二次收敛前耗费了大部分计算时间。
• 通过子采样训练数据并随时间减少正则化，克服批量牛顿法的高每轮开销。
• 开发一种延续方法，通过逐步增大样本和减弱正则化来追踪解，确保每一步均从下一个子问题的二次收敛区域内开始。
• 通过利用先前解作为后续子问题的起始点，提升对不良初始化的鲁棒性。
• 在经验风险和期望风险上实现更快收敛，并通过理论和实证验证计算节省。

提出的方法

• 定义目标族 $ f^{\text{S}}_{\nu}(\mathbf{x}) = \frac{1}{|\mathcal{S}|} \sum_{\mathbf{z} \in \mathcal{S}} \phi^{\mathbf{z}}(\mathbf{x}) + \nu \Omega(\mathbf{x}) $，其中 $ \nu \propto 1/n $，$ n $ 为样本大小。
• 使用动态延续路径：以受控方式增加样本大小 $ n $ 并减少正则化 $ \nu $，确保一个子问题的解位于下一个子问题的二次收敛区域内。
• 采用数据自适应策略确定增量因子 $ \alpha $，其控制样本大小增加和正则化减少的速率。
• 将前一个子问题的解作为下一个牛顿迭代的初始点，确保快速收敛。
• 通过应用相同的延续框架，将方法与拟牛顿法（如 L-BFGS）结合，将方法扩展至精确 Hessian 计算之外的场景。
• 理论分析表明，通过保持初始点在每个后续问题的二次收敛球内，可实现每步牛顿迭代的超线性收缩。

实验结果

研究问题

• RQ1 能否利用动态子采样和自适应正则化来加速大规模机器学习中的牛顿法？
• RQ2 一种逐步增加样本大小并减少正则化的延续路径，是否能保证每次牛顿迭代均从下一个子问题的二次收敛区域开始？
• RQ3 在经验风险和期望风险上，DynaNewton 与标准牛顿法、SAGA 和 L-BFGS 相比，收敛速度如何？
• RQ4 与标准牛顿法相比，该算法在不良初始化下的鲁棒性如何？
• RQ5 该延续框架能否扩展至 L-BFGS 等拟牛顿法，同时保持收敛速度和精度？

主要发现

• DynaNewton 通过确保每次牛顿迭代均从下一个子问题的二次收敛区域内开始，实现了超线性收敛。
• 在所有测试数据集（a9a、w8a、covtype、susy）上，DynaNewton 均在少于 2 个有效周期内达到近似最优解，显著优于标准牛顿法。
• 该算法通过动态自适应调整样本大小和正则化，降低了计算成本，实证结果表明其在期望风险最小化中实现了显著加速。
• 选择增量因子 $ \alpha $ 的数据自适应策略确保了稳定收敛，避免了固定小 $ \alpha $ 值下常见的发散问题。
• DynaNewton 对不良初始化具有鲁棒性：与标准牛顿法不同，其收敛速度不会因起始点过远而显著减慢。
• 实证结果证实，延续方法可扩展至 L-BFGS，表明其在精确 Hessian 方法之外也具有更广泛的应用潜力，尽管对拟牛顿变体的理论保证仍待开放。