[论文解读] A convergence framework for inexact nonconvex and nonsmooth algorithms and its applications to several iterations

Tao Sun, Hao Jiang+2 more|arXiv (Cornell University)|Sep 12, 2017

Sparse and Compressive Sensing Techniques参考文献 31被引用 6

一句话总结

本文提出了一种新颖的非精确非凸与非光滑优化算法的收敛性框架，通过在噪声能量有限和Kurdyka-Łojasiewicz（KŁ）性质的条件下，建立了对临界点的全局收敛性。通过引入伪充分下降条件、伪相对误差条件以及与辅助序列相关的连续性条件，该框架利用一种新型的李雅普诺夫函数证明了收敛性，将先前结果扩展至经典算法（如近端梯度法和ADMM）的非精确变体。

ABSTRACT

In this paper, we consider the convergence of an abstract inexact nonconvex and nonsmooth algorithm. We promise a pseudo sufficient descent condition and a pseudo relative error condition, which are both related to an auxiliary sequence, for the algorithm; and a continuity condition is assumed to hold. In fact, a lot of classical inexact nonconvex and nonsmooth algorithms allow these three conditions. Under a special kind of summable assumption on the auxiliary sequence, we prove the sequence generated by the general algorithm converges to a critical point of the objective function if being assumed Kurdyka- Lojasiewicz property. The core of the proofs lies in building a new Lyapunov function, whose successive difference provides a bound for the successive difference of the points generated by the algorithm. And then, we apply our findings to several classical nonconvex iterative algorithms and derive the corresponding convergence results

研究动机与目标

• 为解决现有非精确非凸与非光滑算法缺乏收敛性框架的问题，这些算法不满足标准的下降条件和相对误差条件。
• 建立一种稳健的收敛性理论，以容纳非精确性，且无需强假设（如噪声与步长成比例）。
• 将现有收敛结果扩展至经典算法（如近端梯度法、ADMM和DC算法）的非精确变体。
• 在Kurdyka-Łojasiewicz（KŁ）性质和可求和噪声假设下，建立对临界点的收敛性。
• 为分析非凸优化中的非精确迭代提供统一的理论基础。

提出的方法

• 引入与辅助序列相关的伪充分下降条件和伪相对误差条件，以替代严格的下降条件和误差界。
• 定义连续性条件，以确保在子序列收敛至驻点时，目标函数值也收敛。
• 构建一种新型李雅普诺夫函数，其连续差分可控制迭代点之间的距离，从而实现收敛性证明。
• 利用Kurdyka-Łojasiewicz（KŁ）性质和噪声的有限能量条件（即可求和噪声）确保收敛至临界点。
• 证明在半代数目标函数和上述条件下，序列可全局收敛至临界点。
• 将该框架应用于具体非精确算法，在噪声衰减较弱（如O(1/k^α)，α > 1）的假设下推导出收敛结果。

实验结果

研究问题

• RQ1 能否为不满足经典充分下降和相对误差条件的非精确非凸与非光滑算法建立收敛性框架？
• RQ2 在何种条件下，非精确算法生成的序列会收敛至半代数目标函数的临界点？
• RQ3 如何将收敛性分析扩展至近端梯度法、ADMM和DC算法等经典算法的非精确变体？
• RQ4 当标准下降和误差条件不成立时，辅助序列在确保收敛性方面起到什么作用？
• RQ5 该框架能否在不假设噪声与步长成比例的前提下，容纳可求和噪声？

主要发现

• 所提出的框架在Kurdyka-Łojasiewicz（KŁ）性质和可求和噪声条件下，确保了非精确非凸与非光滑算法对临界点的全局收敛性。
• 当噪声衰减为O(1/k^α)且α > 1时，算法生成的序列具有有限长度，即∑(‖x^{k+1}−x^k‖ + ‖y^{k+1}−y^k‖) < ∞。
• 对于非精确非凸ADMM，在KŁ性质和可求和噪声条件下建立了收敛性，且辅助序列确保了有界性和收敛性。
• 该框架适用于多种非精确算法，包括非精确近端梯度法、近端交替线性化最小化、重加权法、DC法和ADMM方法。
• 构建了一种新型李雅普诺夫函数，其连续差分可控制迭代点之间的差异，从而在无需严格下降或误差条件的情况下实现收敛性证明。
• 通过目标函数的下确界连续性及子序列值的收敛性，验证了连续性条件，确保了沿子序列的函数值收敛。