[论文解读] Efficient evaluation of scaled proximal operators

Michael P. Friedlander, Gabriel Goh|arXiv (Cornell University)|Mar 17, 2016

Sparse and Compressive Sensing Techniques参考文献 27被引用 14

一句话总结

本文提出了一种高效的内点法，用于计算二次支持（QS）函数的缩放近端算子，从而实现非光滑凸优化问题的快速求解。通过利用问题结构并应用Sherman-Woodbury公式，该方法实现了近乎线性时间的计算，显著加速了在稀疏优化、图像去噪和逻辑回归中的近端拟牛顿方法。

ABSTRACT

Quadratic-support functions [Aravkin, Burke, and Pillonetto; J. Mach. Learn. Res. 14(1), 2013] constitute a parametric family of convex functions that includes a range of useful regularization terms found in applications of convex optimization. We show how an interior method can be used to efficiently compute the proximal operator of a quadratic-support function under different metrics. When the metric and the function have the right structure, the proximal map can be computed with cost nearly linear in the input size. We describe how to use this approach to implement quasi-Newton methods for a rich class of nonsmooth problems that arise, for example, in sparse optimization, image denoising, and sparse logistic regression.

研究动机与目标

• 解决由于近端算子计算成本过高而引起的近端拟牛顿方法中的计算瓶颈。
• 为在一般度量下计算二次支持函数的近端算子，开发一种高效算法。
• 实现大规模非光滑凸优化问题的可扩展求解，该问题源于机器学习和信号处理。
• 利用问题特异性结构（如稀疏性、锥约束）实现输入规模的近乎线性时间复杂度。
• 在稀疏优化、总变差去噪和稀疏逻辑回归中展示实际性能提升。

提出的方法

• 使用内点法求解近端子问题的对偶形式，将近端算子计算重新表述为凸二次规划问题。
• 应用Sherman-Woodbury公式高效求解内点法中出现的对称KKT系统，利用Hessian近似中的低秩结构。
• 采用保持问题结构的对偶化策略，当度量与QS函数兼容时，实现高效求解。
• 将近端算子求解器集成到近端拟牛顿框架中，使用可变的Hessian近似以改善收敛性。
• 采用原始-对偶路径跟随方法，结合中心预测器和校正器，以保持可行性并实现超线性收敛。
• 实现热启动策略和自适应精度控制，以提升迭代求解器的性能。

实验结果

研究问题

• RQ1 在一般正定度量下，能否高效计算二次支持函数的近端算子？
• RQ2 哪些计算技术可实现对结构化QS函数的近端算子近乎线性时间评估？
• RQ3 与现有求解器相比，所提出的内点法在稀疏优化问题中的收敛速度和精度如何？
• RQ4 该方法能否有效集成到近端拟牛顿方法中，以加速大规模问题的收敛？
• RQ5 数值稳定性在近端算子内点求解器中起什么作用，如何加以改进？

主要发现

• 当问题结构有利时（如组Lasso或总变差问题），所提出的内点法可近乎线性时间计算二次支持函数的近端算子。
• 在1D总变差去噪问题中，使用记忆长度10的QSip求解器在收敛速度和精度上均优于Barzilai-Borwein近端求解器。
• 在Epsilon数据集（40万条观测）上，使用QSip的近端拟牛顿方法在所有精度水平下均快于Barzilai-Borwein和newGLMNet。
• 在Gisette数据集（13.5K条观测）上，Barzilai-Borwein和newGLMNet优于拟牛顿方法，表明性能具有问题依赖性。
• 由于病态条件，使用Sherman-Woodbury公式的内点求解器中观察到数值不稳定性，提示需要更稳定的替代方法。
• 在精确算术下，使用理想预conditioner的预conditioned Krylov求解器（如MINRES）可在三步内收敛，凸显进一步加速的潜力。