[论文解读] Alternating Direction Method of Multipliers for Nonconvex Background/Foreground Extraction

Lei Yang, Ting Kei Pong+1 more|arXiv (Cornell University)|Jun 23, 2015

Sparse and Compressive Sensing Techniques被引用 12

一句话总结

该论文提出了一种基于ADMM的方法，用于监控视频中的非凸背景/前景提取，采用灵活的稀疏性诱导正则化（例如，0 < p < 1 时的 ℓ_p 范数），且无需核范数约束。在对偶步长小于黄金分割比例且迭代序列有界的情况下，该方法可保证收敛至驻点；若势函数满足Kurdyka–Łojasiewicz性质，则可实现全局收敛。在真实数据上，其速度优于PALM。

ABSTRACT

In this paper, we study a general optimization model for extracting background and foreground from a surveillance video. This model covers a large class of existing models as special cases. In particular, it can be nuclear-norm-free, and can incorporate different possibly nonconvex sparsity inducing regularization functions for extracting the foreground, such as the $\ell_p$ quasi-norm for $0<p<1$. To solve the resulting possibly nonconvex optimization problem, we adapt the alternating direction method of multipliers (ADMM) with a general dual step-size to solve a reformulation that contains three blocks of variables, and analyze its convergence. We show that for any dual step-size less than the golden ratio, there exists a computable threshold such that if the penalty parameter is chosen above such a threshold and the sequence thus generated by our ADMM is bounded, then the cluster point of the sequence gives a stationary point of the nonconvex optimization problem. We achieve this via a potential function specifically constructed for our ADMM. Moreover, we establish the global convergence of the whole sequence generated if, in addition, this special potential function is a Kurdyka-{\L}ojasiewicz function. Furthermore, we present a simple strategy for initializing the algorithm to guarantee boundedness of the sequence generated. Finally, we perform numerical experiments comparing our ADMM with the proximal alternating linearized minimization (PALM) proposed in \cite{bst2014} on real data. The numerical results show that our ADMM with a dual step-size smaller than 1 performs better in the sense that it uses less time to solve all test problems.

研究动机与目标

• 开发一种灵活的优化框架，用于监控视频中的背景/前景提取，以推广现有模型。
• 处理非凸稀疏性诱导正则化，如 0 < p < 1 时的 ℓ_p 范数，且无需核范数正则化。
• 在非凸、三变量设置下，为具有通用对偶步长的ADMM建立收敛性保证。
• 提出一种实用的初始化策略，确保ADMM迭代序列的有界性。
• 通过实验验证，与真实世界视频数据上的PALM相比，该方法在计算效率上表现更优。

提出的方法

• 将背景/前景提取问题重新表述为涉及背景、前景和辅助变量的三块优化问题。
• 应用具有通用对偶步长的交替方向乘子法（ADMM）求解重构后的问题。
• 构建一种专为ADMM动态设计的新势函数，以分析非凸条件下的收敛性。
• 在对偶步长小于黄金分割比例且惩罚参数超过可计算阈值时，建立收敛至驻点的保证。
• 提出一种简单的初始化策略，可保证ADMM序列的有界性。
• 利用所构造势函数的Kurdyka–Łojasiewicz性质，证明在附加条件下整个ADMM序列的全局收敛性。

实验结果

研究问题

• RQ1 对于具有灵活稀疏性正则化的非凸背景/前景提取问题，ADMM是否可使用通用对偶步长收敛至驻点？
• RQ2 对偶步长和惩罚参数需满足何种条件，才能保证ADMM迭代序列收敛至驻点解？
• RQ3 所提出的ADMM在真实视频数据上的计算效率是否优于现有方法（如PALM）？
• RQ4 在非凸问题中，如何在实际中保证ADMM序列的有界性？
• RQ5 在何种条件下，整个ADMM序列可实现全局收敛，而不仅仅是收敛至聚点？

主要发现

• 当对偶步长小于黄金分割比例、惩罚参数超过可计算阈值且迭代序列有界时，所提出的ADMM可收敛至非凸问题的驻点。
• 当所构造的势函数满足Kurdyka–Łojasiewicz性质时，可实现整个序列的全局收敛。
• 提出了一种简单的初始化策略，可保证ADMM序列的有界性，从而支持收敛性保证。
• 数值实验表明，当对偶步长小于1时，所提出的ADMM在所有测试的真实视频问题上均比PALM更快。
• 该方法支持非凸稀疏性正则化（如 0 < p < 1 时的 ℓ_p 范数），且无需核范数，从而实现更灵活的前景建模。
• 该收敛性分析适用于广泛的一类模型，包括无核范数的公式，因此在背景/前景提取中具有广泛适用性。