[论文解读] Linearized ADMM for Non-convex Non-smooth Optimization with Convergence Analysis

Qinghua Liu, Xinyue Shen+1 more|arXiv (Cornell University)|May 6, 2017

Sparse and Compressive Sensing Techniques参考文献 50被引用 20

一句话总结

本文提出了一种用于非凸、非光滑优化问题的两块和多块线性化ADMM方法，在弱于先前工作的假设下提供了收敛性分析。通过线性化子问题并利用邻近项，该方法在更广泛的非凸目标函数类上实现了收敛，且保证了迭代序列和目标值的收敛。

ABSTRACT

Linearized alternating direction method of multipliers (ADMM) as an extension of ADMM has been widely used to solve linearly constrained problems in signal processing, machine leaning, communications, and many other fields. Despite its broad applications in nonconvex optimization, for a great number of nonconvex and nonsmooth objective functions, its theoretical convergence guarantee is still an open problem. In this paper, we propose a two-block linearized ADMM and a multi-block parallel linearized ADMM for problems with nonconvex and nonsmooth objectives. Mathematically, we present that the algorithms can converge for a broader class of objective functions under less strict assumptions compared with previous works. Furthermore, our proposed algorithm can update coupled variables in parallel and work for less restrictive nonconvex problems, where the traditional ADMM may have difficulties in solving subproblems.

研究动机与目标

• 解决ADMM在非凸、非光滑优化中缺乏理论收敛保证的问题，这是信号处理和机器学习中的常见挑战。
• 通过引入线性化来简化更新，克服传统ADMM在处理非凸问题时求解子问题的困难。
• 通过设计并行多块线性化ADMM变体，实现多变量的并行计算，提升大规模问题的可扩展性。
• 在弱于先前工作的假设下，为两块和多块设置提供收敛性分析。
• 在对函数和矩阵的限制更少的条件下，确保更广泛类别的非凸、非光滑问题的迭代序列和目标值收敛。

提出的方法

• 提出一种两块线性化ADMM，通过求解带有线性化增广拉格朗日项的子问题来更新变量，从而降低计算复杂度。
• 引入带有利普希茨常数 $ L_x $ 和 $ L_y $ 的邻近项，以稳定子问题并确保其可解性。
• 对增广拉格朗日中的非光滑和非凸项使用线性近似，使子问题可处理。
• 设计一种并行多块变体，允许多个变量同时更新，提升大规模问题的可扩展性。
• 通过对偶变量的有界性以及原始/对偶残差的有界性建立收敛性，依赖于强制性和利普希茨可微性假设。
• 利用增广拉格朗日的结构和邻近更新，证明目标值和迭代序列的收敛性。

实验结果

研究问题

• RQ1 在弱于现有方法的假设下，线性化ADMM能否在理论上保证对非凸和非光滑优化问题的收敛？
• RQ2 当目标函数为非凸和非光滑时，所提出的两块线性化ADMM是否仍能保持收敛，特别是当子问题难以求解时？
• RQ3 多块并行线性化ADMM能否在具有耦合变量的非凸问题上实现收敛，从而实现可扩展和分布式计算？
• RQ4 对目标函数的假设（如利普希茨可微性、强制性）如何影响算法的收敛性？
• RQ5 在非凸设置下，什么条件能确保对偶变量有界，以及原始和对偶残差收敛？

主要发现

• 所提出的两块线性化ADMM在比先前方法更宽松的目标函数和约束矩阵假设下，对更广泛的非凸和非光滑问题类实现了收敛。
• 该算法确保原始残差和对偶残差收敛至零，意味着迭代序列满足约束条件，且对偶变量更新趋于稳定。
• 随着算法的推进，目标函数值收敛，这是由于增广拉格朗日的收敛性和约束违反项的消失所致。
• 通过对 $ f{B}^T m{ u}^k $ 的有界性（由 $ f{y}^k $ 的有界性和更新结构决定）证明了对偶变量序列 $ m{ u}^k $ 的有界性。
• 即使 $ f(f{x}) $ 为非凸和非光滑，且 $ g(f{x},f{y}) $ 为非凸但利普希茨可微，收敛性分析依然成立，扩展了ADMM的适用范围。
• 多块并行变体实现了可扩展计算，并在类似假设下保持收敛性，适用于大规模分布式优化。