[论文解读] Convergence Analysis of A Proximal Linearized ADMM Algorithm for Nonconvex Nonsmooth Optimization

Maryam Yashtini|arXiv (Cornell University)|Jan 1, 2020

Sparse and Compressive Sensing Techniques参考文献 56被引用 3

一句话总结

该论文提出了一种用于求解线性约束非凸、非光滑优化问题的可变度量近端线性化交替方向乘子法（PL-ADMM）。通过引入自适应近端项和超松弛因子，该方法确保了序列有界性，并收敛至临界点；在Kurdyka-Łojasiewicz（KŁ）性质下，实现了有限收敛长度，并建立了依赖于KŁ指数θ的收敛速率，包括θ = 0时的有限时间收敛、θ ∈ (0, 1/2)时的R-线性收敛，以及θ ∈ (1/2, 1)时的次线性O(1/k^r)收敛速率。

ABSTRACT

In this paper, we consider a proximal linearized alternating direction method of multipliers (PL-ADMM) for solving linearly constrained nonconvex and possibly nonsmooth optimization problems. The algorithm is generalized by using variable metric proximal terms in the primal updates and an over-relaxation stepsize in the multiplier update. We prove that the sequence generated by this method is bounded and its limit points are critical points. Under the powerful Kurdyka-{Łojasiewicz} properties we prove that the sequence has a finite length thus converges, and we drive its convergence rates.

研究动机与目标

• 该论文旨在为非凸、非光滑设置下的近端线性化ADMM变体建立收敛性与收敛速率。
• 针对ADMM在非凸问题中虽有经验成功但缺乏理论保证的问题。
• 目标包括在一般假设下证明有界性与收敛至临界点。
• 旨在基于Kurdyka-Łojasiewicz（KŁ）性质推导收敛速率，将指数θ与收敛速度关联。
• 该方法旨在通过使用可变度量和超松弛因子，推广标准ADMM以改善收敛行为。

提出的方法

• 该算法在原始变量更新中使用可变度量近端项，实现自适应正则化。
• 在对偶（乘子）更新中引入超松弛松弛因子，以增强收敛稳定性。
• 采用Kurdyka-Łojasiewicz（KŁ）不等式进行分析，该不等式刻画了临界点附近目标函数的陡峭程度。
• 通过证明序列具有有限长度且为柯西序列，结合KŁ性质与迭代序列有界性，建立收敛性。
• 分析利用了一个去奇异化函数ψ(s) = s^{1−θ}，将李雅普诺夫函数的衰减速率与收敛速度关联。
• 关键不等式涉及利用KŁ条件与李雅普诺夫函数Rk，对原始变量与对偶变量步长的范数进行有界控制。

实验结果

研究问题

• RQ1 所提出的PL-ADMM算法在具有线性约束的非凸与非光滑问题下是否收敛至临界点？
• RQ2 在何种条件下，PL-ADMM生成的序列具有有限长度并收敛？
• RQ3 Kurdyka-Łojasiewicz（KŁ）指数θ与目标函数结构如何影响收敛速率？
• RQ4 收敛速率能否以KŁ指数θ的形式量化？不同θ取值范围下的具体速率是什么？
• RQ5 与标准ADMM相比，引入可变度量近端项与超松弛因子是否能改善收敛行为？

主要发现

• 在标准假设下，PL-ADMM算法生成的序列有界，并收敛至临界点。
• 当Kurdyka-Łojasiewicz（KŁ）指数满足θ = 0时，算法实现有限长度收敛，意味着在有限次迭代内收敛。
• 对于θ ∈ (0, 1/2)，收敛速率为R-线性，满足|||uk − u∞||| ≤ C q^k（其中q ∈ (0, 1)），表明具有快速的局部收敛性。
• 对于θ ∈ (1/2, 1)，收敛速率为次线性，具体为O(1/k^r)，其中r = (1−θ)/(2θ−1)，且随着θ趋近于1而衰减。
• 收敛速率与KŁ指数定量关联：θ越小，衰减越快，θ = 0时实现有限收敛。
• 分析表明，收敛速率依赖于去奇异化函数ψ(s) = s^{1−θ}与极限点处的KŁ性质。