[论文解读] An Inexact Variable Metric Proximal Point Algorithm for Generic Quasi-Newton Acceleration

Hongzhou Lin, Julien Mairal+1 more|arXiv (Cornell University)|Oct 4, 2016

Sparse and Compressive Sensing Techniques参考文献 62被引用 5

一句话总结

该论文提出 QNing，一种通用的非精确变度量邻近点算法，通过拟牛顿更新加速诸如 SVRG 等一阶优化方法。通过使用 L-BFGS 求解子问题并采用 Moreau 包络平滑化，QNing 在强凸问题上实现线性收敛，并在大规模、高维机器学习任务中显著提升性能，同时保持复合目标函数中的稀疏性。

ABSTRACT

We propose an inexact variable-metric proximal point algorithm to accelerate gradient-based optimization algorithms. The proposed scheme, called QNing can be notably applied to incremental first-order methods such as the stochastic variance-reduced gradient descent algorithm (SVRG) and other randomized incremental optimization algorithms. QNing is also compatible with composite objectives, meaning that it has the ability to provide exactly sparse solutions when the objective involves a sparsity-inducing regularization. When combined with limited-memory BFGS rules, QNing is particularly effective to solve high-dimensional optimization problems, while enjoying a worst-case linear convergence rate for strongly convex problems. We present experimental results where QNing gives significant improvements over competing methods for training machine learning methods on large samples and in high dimensions.

研究动机与目标

• 开发一种通用的一阶优化方法加速框架，集成拟牛顿更新，同时保持收敛性保证。
• 为包含非光滑正则化项的复合目标函数，实现高效、可扩展的大规模机器学习问题优化。
• 将增量一阶方法（如 SVRG）与 L-BFGS 风格的曲率近似相结合，以提升收敛速度。
• 确保与复合目标函数的兼容性，使得在使用 ℓ₁-范数等稀疏诱导正则化项时，能够获得精确的稀疏解。
• 建立一个收敛框架，即使在子问题求解不精确的情况下，也能保持线性收敛速率，尤其在高维设置下。

提出的方法

• QNing 采用非精确变度量邻近点框架，每个外层迭代通过变度量求解一个平滑化的子问题。
• 平滑化通过 Moreau 包络实现，确保平滑函数的梯度始终满足利普希茨连续性，无论原函数是否可微。
• 每个子问题使用有限内存 BFGS（L-BFGS）更新规则求解，实现在高维空间中高效的海森矩阵近似。
• 该算法维护一个迭代序列，其中内层子问题的求解精度随时间递减，确保全局收敛。
• 在每一步中，非光滑项 ψ 的邻近算子均精确计算，当 ψ 为稀疏诱导正则化项时，可保持解的稀疏性。
• 该方法兼容多种增量一阶方法，包括 SVRG、SAGA、Finito 和块坐标下降。

实验结果

研究问题

• RQ1 能否设计一种通用的拟牛顿加速方案，使其与增量一阶方法兼容，同时保持收敛性保证？
• RQ2 将 L-BFGS 与非精确邻近点方法结合，是否能在大规模问题上实现比标准一阶方法更快的收敛速度？
• RQ3 当目标函数包含非光滑正则化项（如 ℓ₁-范数）时，所提方法能否保持解的精确稀疏性？
• RQ4 平滑参数 κ 的选择在实际中如何影响算法的收敛性和鲁棒性？
• RQ5 即使子问题求解不精确，算法是否仍能实现最坏情况下的线性收敛速率？

主要发现

• 当子问题以足够高的精度求解时，QNing 在强凸问题上实现了最坏情况下的线性收敛速率。
• 实验结果表明，QNing 在大规模数据集和高维问题上训练机器学习模型时，显著优于现有竞争方法。
• 该算法对较小的平滑参数 κ 值具有鲁棒性，且当 κ 低于默认值 κ₀ 时，性能进一步提升。
• 当正则化项 ψ 为 ℓ₁-范数时，QNing 能够保持精确的稀疏解，适用于稀疏学习应用。
• 在 QNing 中使用 L-BFGS 显著提升了高维问题上的计算速度，相比标准 SVRG 及其他增量一阶方法具有显著优势。
• 尽管理论上的最坏情况收敛速率较为保守，QNing 在实践中表现出强大的性能，表明 L-BFGS 类方法在理论与实践之间存在显著差距。