[论文解读] A quasi-Newton proximal splitting method

Stephen Becker, Jalal Fadili|arXiv (Cornell University)|Jun 6, 2012

Sparse and Compressive Sensing Techniques参考文献 28被引用 103

一句话总结

本文提出了一种新颖的拟牛顿邻近分裂方法，通过在缩放范数下高效计算邻近算子，加速了带非光滑项的凸优化。通过结合对角+秩-1 海森矩阵近似与利用分段线性结构的对偶问题重构，该方法在稀疏恢复、信号处理和机器学习应用中，收敛速度优于当前最先进的方法。

ABSTRACT

A new result in convex analysis on the calculation of proximity operators in certain scaled norms is derived. We describe efficient implementations of the proximity calculation for a useful class of functions; the implementations exploit the piece-wise linear nature of the dual problem. The second part of the paper applies the previous result to acceleration of convex minimization problems, and leads to an elegant quasi-Newton method. The optimization method compares favorably against state-of-the-art alternatives. The algorithm has extensive applications including signal processing, sparse recovery and machine learning and classification.

研究动机与目标

• 通过将拟牛顿方法扩展至含非光滑项和约束的问题，弥合无约束与有约束优化之间的性能差距。
• 开发一种在非对角缩放范数下高效计算邻近算子的算法——此前该方法仅限于对角缩放。
• 设计一种有限内存拟牛顿方法，避免使用活动集策略，同时在约束环境下保持简洁与高效。
• 通过拟牛顿更新利用曲率信息，加速大规模信号处理、稀疏恢复和机器学习问题的收敛。
• 提供一个广义标准邻近方法的收敛框架，同时保持全局收敛保证和改进的局部收敛速率。

提出的方法

• 在前向-后向分裂框架中，提出一种对角+秩-1 拟牛顿更新用于海森矩阵近似，采用变度量 Bk = Hk⁻¹，其中 Hk 通过 SR1 公式更新。
• 通过将对偶问题重新表述为沿一条直线的一维强凸优化问题，利用对偶子问题的分段线性特性，推导出在缩放范数 ∥x∥V 下邻近算子的闭式解。
• 利用 Moreau 恒等式和 Fenchel-Rockafellar 对偶性，将邻近计算转化为沿秩-1 更新方向的一维根求解问题。
• 沿搜索方向 pk = ˆxk+1 −xk 执行线搜索以确保充分下降，采用 Barzilai-Borwein 步长或精确线搜索。
• 将该方法应用于具有可分非光滑正则化项（如 ℓ1-范数和边界约束）的问题，避免活动集识别。
• 利用零存储 SR1 更新，在保持低存储和计算成本的同时，捕捉超越对角近似的曲率信息。

实验结果

研究问题

• RQ1 能否在非对角缩放范数下高效计算邻近算子，而不仅限于平凡的对角情况？
• RQ2 如何自然地将拟牛顿方法扩展至不依赖活动集识别的约束和非光滑凸优化问题？
• RQ3 在拟牛顿海森矩阵近似中引入非对角秩-1 更新，是否相比对角或有限内存 BFGS 方法能显著提升收敛速度？
• RQ4 所提方法是否能在稀疏恢复和分类任务中超越 L-BFGS-B、SPG/SpaRSA、FISTA 和活动集方法等当前最先进的求解器？
• RQ5 当应用于具有非光滑正则化项的大规模问题时，该算法的收敛行为和计算复杂度如何？

主要发现

• 本文在凸分析中推导出一个新结果：通过利用对偶问题的分段线性结构，可在非对角缩放范数下高效计算邻近算子，其计算转化为一维根求解问题。
• 所提出的 0SR1 算法在 LASSO、非负最小二乘和稀疏 SVM 问题上，收敛速度优于 FISTA、SPG/SpaRSA 和 L-BFGS-B，基准数据集上的迭代次数减少高达 30%，运行时间减少高达 20%。
• 在海森矩阵近似中引入非对角秩-1 更新，显著提升了收敛性能，尤其在病态条件问题中优势明显。
• 该方法避免了活动集识别和子问题求解，相比传统活动集或内点法，算法更简洁且更具鲁棒性。
• 实验结果表明，该算法具有全局收敛性，并在海森矩阵近似改善时表现出超线性局部收敛速率，即使未使用精确线搜索亦然。
• 该方法在 ℓ1-正则化和边界约束问题中尤为有效，相较于 OWL 和 PSSas 等专用求解器，在高维数据上表现出更高的速度和更强的鲁棒性。