[论文解读] A Generic Quasi-Newton Algorithm for Faster Gradient-Based Optimization

Hongzhou Lin, Julien Mairal+1 more|arXiv (Cornell University)|Apr 5, 2017

Sparse and Compressive Sensing Techniques参考文献 39被引用 7

一句话总结

该论文提出 QuickeNing，一种通用的拟牛顿算法，通过将有限内存 BFGS 更新集成到增量一阶方法（如 SVRG 和 MISO）中，加速基于梯度的优化。该方法在强凸问题上实现线性收敛，并在大规模、高维机器学习任务中实现显著加速，同时在复合目标中保持精确的稀疏性。

ABSTRACT

We propose a generic approach to accelerate gradient-based optimization algorithms with quasi-Newton principles. The proposed scheme, called QuickeNing, can be applied to incremental first-order methods such as stochastic variance-reduced gradient (SVRG) or incremental surrogate optimization (MISO). It is also compatible with composite objectives, meaning that it has the ability to provide exactly sparse solutions when the objective involves a sparsity-inducing regularization. QuickeNing relies on limited-memory BFGS rules, making it appropriate for solving high-dimensional optimization problems. Besides, it enjoys a worst-case linear convergence rate for strongly convex problems. We present experimental results where QuickeNing gives significant improvements over competing methods for solving large-scale high-dimensional machine learning problems.

研究动机与目标

• 开发一种通用框架，利用拟牛顿原理加速基于梯度的优化。
• 实现与增量一阶方法（如 SVRG 和 MISO）的兼容性。
• 支持带有稀疏性诱导正则化的复合目标，确保获得精确的稀疏解。
• 在高维优化问题中保持高效性和可扩展性。
• 在强凸问题上实现最坏情况下的线性收敛速率。

提出的方法

• 该方法将有限内存 BFGS 更新应用于增量一阶优化中以近似 Hessian 矩阵。
• 通过将拟牛顿校正整合到 SVRG 和 MISO 等增量方案中，加速收敛。
• 通过使用过去更新的记忆来维持低秩 Hessian 近似，适用于高维设置。
• 通过使拟牛顿更新与正则化项的结构对齐，保持复合目标中的精确稀疏性。
• 该方案设计为模块化，可与现有的一阶优化框架兼容。
• 在强凸性假设下，确保以最坏情况下的线性速率收敛。

实验结果

研究问题

• RQ1 拟牛顿原理能否被推广以加速增量一阶优化方法？
• RQ2 有限内存 BFGS 如何与 SVRG 和 MISO 等增量方案有效结合？
• RQ3 该方法能否在带有正则化的复合目标中保持精确稀疏性？
• RQ4 该方法为强凸问题提供了哪些收敛保证？
• RQ5 该方法在大规模、高维机器学习任务中的可扩展性和性能表现如何？

主要发现

• QuickeNing 在强凸问题上实现了最坏情况下的线性收敛速率，与一阶方法的理论最优性能一致。
• 在大规模机器学习问题上，该方法相比基线 SVRG 和 MISO 显著提升了收敛速度。
• 当目标函数包含稀疏性诱导正则化项时，该方法能保持精确的稀疏解。
• 由于采用有限内存 BFGS 公式，该算法在高维问题中具有高效的可扩展性。
• 实验结果表明，该方法在多个大规模学习任务中均表现出一致且显著的性能提升。