[论文解读] Fast methods for nonsmooth nonconvex minimization

Peng Zheng, Aleksandr Y. Aravkin|arXiv (Cornell University)|Feb 7, 2018

Sparse and Compressive Sensing Techniques参考文献 60被引用 9

一句话总结

该论文通过利用光滑映射和可分的近端算子，提出了一类新型算法，用于非光滑、非凸优化，从而能够高效使用标准求解器（如最小二乘法和L-BFGS）。该方法在精确RPCA和鲁棒相位恢复等任务中，于20次迭代内实现了线性至超线性收敛，且是首个解决核S³VM问题的方法。

ABSTRACT

We propose a new class of algorithms for nonsmooth, nonconvex problems that are expressible as compositions of nonsmooth nonconvex functions with smooth maps. In many cases, these algorithms require only (1) least squares solvers and (2) proximal operators of separable functions. An immediate consequence is that direct factorization and SVDs, as well as accelerated iterative methods such as preconditioned CG, fast-gradient methods, and (L)BFGS can be leveraged to solve nonsmooth nonconvex problems. We provide a convergence analysis and empirical results for a selected set of representative applications, including phase retrieval, stochastic shortest path, semi-supervised support vector machines (S$^3$VM), and exact robust PCA. In all of these applications, we see linear and superlinear empirical rates of convergence. In particular, we need fewer than 20 iterations to solve both exact RPCA and large-scale robust phase retrieval problems. As far as we know, the proposed algorithm is the first available for solving Kernel (S$^3$VM) problems.

研究动机与目标

• 解决在关键机器学习和信号处理应用中出现的非光滑、非凸优化问题的挑战。
• 开发一种避免昂贵运算（如SVD和直接分解）同时保持快速收敛的方法。
• 使标准高效求解器（如L-BFGS和共轭梯度）能够在非凸、非光滑设置下得以应用。
• 为求解核S³VM问题提供首个实用算法，这是该领域此前未解决的挑战。
• 在代表性问题（如相位恢复和鲁棒PCA）上实现快速收敛率——线性和超线性。

提出的方法

• 该方法将非光滑非凸问题表述为非光滑非凸函数与光滑映射的复合形式，从而实现高效优化。
• 其依赖于两个核心组件：(1) 用于光滑子问题的最小二乘求解器，以及 (2) 用于非光滑项的可分函数的近端算子。
• 该算法将预处理共轭梯度、快速梯度法和L-BFGS等标准迭代求解器整合进优化框架。
• 通过将问题分解为光滑和可分的非光滑部分，避免了对完整SVD或直接分解的需求。
• 该方法即使在非凸、非光滑设置下，也能支持加速技术和预处理。
• 在包含光滑与非光滑分量的复合优化框架下分析收敛性，利用了近端方法的已知收敛结果。

实验结果

研究问题

• RQ1 我们能否设计一种可扩展且高效的非光滑非凸优化算法，避免昂贵的SVD和直接分解？
• RQ2 能否通过结构化分解，将标准迭代求解器（如L-BFGS和共轭梯度）有效适配到非凸、非光滑问题中？
• RQ3 在相位恢复和鲁棒PCA等代表性问题中，该框架在实际中可实现何种收敛速率？
• RQ4 是否能够将现有方法扩展以处理此前无法求解的核S³VM问题？
• RQ5 尽管问题具有非凸性和非光滑性，该方法是否能在实际应用中实现超线性收敛？

主要发现

• 所提出的算法在所有测试问题的实验评估中均实现了线性至超线性收敛速率。
• 精确鲁棒PCA和大规模鲁棒相位恢复问题均在20次迭代内求解完成。
• 该方法使L-BFGS和预处理共轭梯度等高效求解器能够在非凸、非光滑设置下得以应用。
• 该方法避免了SVD和直接分解的计算开销，显著提升了可扩展性。
• 首次为求解核S³VM问题提供了实用算法，该问题此前一直无法求解。
• 该框架成功高效地处理了半监督SVM和带高斯噪声的最短路径等复杂现实问题。