[论文解读] Alternating Direction Method of Multipliers for A Class of Nonconvex and Nonsmooth Problems with Applications to Background/Foreground Extraction

Lei Yang, Ting Kei Pong+1 more|arXiv (Cornell University)|Jun 23, 2015

Sparse and Compressive Sensing Techniques参考文献 35被引用 10

一句话总结

本文提出一种带有通用对偶步长的交替方向乘乘法法（ADMM），用于求解成像科学中背景/前景提取问题所涉及的一类非凸、非光滑且非利普希茨连续的优化问题。在惩罚参数阈值和序列有界性的条件下，证明了其收敛至驻点；若构造的势函数满足Kurdyka-Łojasiewicz性质，则可实现全局收敛。实验结果表明，该方法在真实视频数据上的效率优于PALM。

ABSTRACT

In this paper, we study a general optimization model, which covers a large class of existing models for many applications in imaging sciences. To solve the resulting possibly nonconvex, nonsmooth and non-Lipschitz optimization problem, we adapt the alternating direction method of multipliers (ADMM) with a general dual step-size to solve a reformulation that contains three blocks of variables, and analyze its convergence. We show that for any dual step-size less than the golden ratio, there exists a computable threshold such that if the penalty parameter is chosen above such a threshold and the sequence thus generated by our ADMM is bounded, then the cluster point of the sequence gives a stationary point of the nonconvex optimization problem. We achieve this via a potential function specifically constructed for our ADMM. Moreover, we establish the global convergence of the whole sequence if, in addition, this special potential function is a Kurdyka-Łojasiewicz function. Furthermore, we present a simple strategy for initializing the algorithm to guarantee boundedness of the sequence. Finally, we perform numerical experiments comparing our ADMM with the proximal alternating linearized minimization (PALM) proposed in [5] on the background/foreground extraction problem with real data. The numerical results show that our ADMM with a nontrivial dual step-size is efficient.

研究动机与目标

• 为成像科学中的一类一般性非凸与非光滑优化问题建模，特别是从视频中提取背景/前景。
• 开发并分析一种带有通用对偶步长的ADMM变体，以求解通常为非凸、非光滑且非利普希茨连续的问题。
• 在较弱假设下建立收敛性保证，特别是当惩罚参数低于某一阈值且序列有界时，聚点为驻点。
• 提供全局收敛的条件，即通过构造的势函数满足Kurdyka-Łojasiewicz性质，使整个序列实现全局收敛。
• 提出一种实用的初始化策略以确保序列有界性，并在真实监控视频数据上对方法进行实证验证。

提出的方法

• 将带有通用对偶步长 τ ∈ (0, (1+√5)/2) 的ADMM应用于非凸优化问题的三块重构形式。
• 构造一种新颖的势函数以分析收敛性，该函数在证明聚点为驻点解中起关键作用。
• 对惩罚参数施加一个可计算的阈值，使得若惩罚参数超过该阈值且序列有界，则任意聚点均为非凸问题的驻点。
• 提出一种简单的初始化策略，以保证ADMM迭代序列的有界性，这对收敛性分析至关重要。
• 采用基于惩罚的原始问题重构形式，以使ADMM得以应用，其中线性映射 A、B、C 用于建模数据保真度与结构。
• 在势函数上引入Kurdyka-Łojasiewicz条件，以强化收敛性，实现整个序列的全局收敛。

实验结果

研究问题

• RQ1 在何种条件下，带有通用对偶步长的ADMM能够收敛至非凸、非光滑且非利普希茨连续优化问题的驻点？
• RQ2 当惩罚参数超过某一阈值且迭代序列保持有界时，能否保证ADMM的收敛性？
• RQ3 在何种条件下可确保整个ADMM序列的全局收敛，而不仅仅是其聚点？
• RQ4 对偶步长 τ 的选择如何影响非凸设置下ADMM的性能与收敛性？
• RQ5 所提出的ADMM在实际应用（如真实视频中的背景/前景提取）中是否优于现有方法（如PALM）？

主要发现

• 对于任意对偶步长 τ < (1+√5)/2，若惩罚参数超过一个可计算的阈值且ADMM迭代序列保持有界，则每个聚点均为非凸问题的驻点。
• 所提出的ADMM在 τ = 0.8 时，相比PALM在真实监控视频数据上实现了更短的CPU时间，且F-measure性能相当。
• 该方法在背景/前景提取任务中对多种非凸正则化项（包括桥正则化、分数正则化、逻辑正则化及最小最大凹正则化）均表现出鲁棒性。
• 数值结果表明，当 τ = 0.8 时，ADMM在计算效率上持续优于PALM，同时在含噪和模糊的视频数据上保持了具有竞争力的F-measure得分。
• 当势函数满足Kurdyka-Łojasiewicz性质时，可建立整个序列的全局收敛性，从而将收敛性保证从聚点收敛扩展至全局收敛。
• 所提出的初始化策略可确保序列有界性，这是理论收敛结果的关键前提。