[论文解读] Convergence guarantees for a class of non-convex and non-smooth optimization problems

Koulik Khamaru, Martin J. Wainwright|arXiv (Cornell University)|Apr 25, 2018

Sparse and Compressive Sensing Techniques参考文献 30被引用 37

一句话总结

本文为非凸、非光滑优化问题中的梯度方法——梯度下降、近端更新和Frank-Wolfe——提供了收敛性保证。它建立了子梯度范数的非渐近收敛速率，并证明了这些方法能够针对一大类非光滑函数逃离严格鞍点，同时通过更快的收敛速度和更低的每次迭代成本，简化了CCCP算法。

ABSTRACT

We consider the problem of finding critical points of functions that are non-convex and non-smooth. Studying a fairly broad class of such problems, we analyze the behavior of three gradient-based methods (gradient descent, proximal update, and Frank-Wolfe update). For each of these methods, we establish rates of convergence for general problems, and also prove faster rates for continuous sub-analytic functions. We also show that our algorithms can escape strict saddle points for a class of non-smooth functions, thereby generalizing known results for smooth functions. Our analysis leads to a simplification of the popular CCCP algorithm, used for optimizing functions that can be written as a difference of two convex functions. Our simplified algorithm retains all the convergence properties of CCCP, along with a significantly lower cost per iteration. We illustrate our methods and theory via applications to the problems of best subset selection, robust estimation, mixture density estimation, and shape-from-shading reconstruction.

研究动机与目标

• 为非凸和非光滑函数上的梯度基算法建立非渐近收敛速率。
• 将收敛性保证扩展至包含非光滑函数的严格鞍点逃离，推广平滑情形下的结果。
• 通过用单重循环近端方法替代双层循环结构，简化DC规划中的CCCP算法，同时保持收敛性质。
• 在连续次解析函数下，基于Kurdyka–Łojasiewicz不等式提供收敛速率界。
• 表征可分解为光滑函数与凸函数之差的函数类，从而扩大所提方法的适用范围。

提出的方法

• 提出一种用于在闭凸集上最小化非凸、非光滑函数的子梯度算法，其收敛速率以子梯度的欧几里得范数为界。
• 针对目标函数为光滑函数与凸函数之差的问题，引入一种近端类型算法，并在较弱的正则性条件下提供收敛保证。
• 利用Kurdyka–Łojasiewicz不等式，推导出连续次解析函数的更快收敛速率。
• 通过定理6建立具有M-光滑梯度差性质的函数与可分解为光滑函数与凸函数之差的函数之间的等价性。
• 通过利用函数分解结构，推导出CCCP算法的简化单重循环变体，显著降低每次迭代的计算成本。
• 利用一阶泰勒展开和梯度不等式，证明分解中辅助函数的凸性，从而确保收敛性。

实验结果

研究问题

• RQ1 梯度基方法能否在非凸和非光滑优化问题中实现非渐近收敛速率？
• RQ2 在非光滑情形下，这些方法在何种条件下可逃离严格鞍点？
• RQ3 如何在保持收敛保证的同时简化CCCP算法，以提升计算效率？
• RQ4 哪些连续可微函数可表示为光滑函数与凸函数之差？
• RQ5 在Kurdyka–Łojasiewicz不等式下，子解析函数的收敛速率可实现何种改进？

主要发现

• 本文在一类广义的非凸、非光滑问题中建立了子梯度范数的非渐近收敛速率，且该速率在一般情况下无法进一步改进。
• 对于连续次解析函数，所提算法在Kurdyka–Łojasiewicz不等式下可实现更快的收敛速率。
• 简化后的单重循环算法保留了CCCP的所有收敛保证，同时显著降低了每次迭代的成本，实验结果已验证此优势。
• 该方法可适用于一大类非光滑函数，实现对严格鞍点的逃离，推广了平滑情形下的已知结果。
• 定理6表明，一个连续可微函数可表示为光滑函数与凸函数之差，当且仅当其梯度满足特定的Lipschitz型不等式。
• 通过定理6对函数类的表征，使得所提算法可广泛应用于各类问题，包括最优子集选择、鲁棒估计和形状恢复（shape-from-shading）等。