[论文解读] An Alternating Direction Method for Total Variation Denoising

Zhiwei Qin, Donald Goldfarb+1 more|arXiv (Cornell University)|Aug 7, 2011

Sparse and Compressive Sensing Techniques参考文献 39被引用 5

一句话总结

该论文提出了一种新颖的交替方向增广拉格朗日（ADAL）方法，用于总变差（TV）去噪，采用对偶变量分裂策略，将图像变量与梯度变量解耦。该方法实现了精确且高效的子问题求解，对各向异性TV实现了全局收敛，对各向同性TV则提出了一个全局收敛的变体，其计算性能在标准测试图像上的迭代次数和CPU时间方面均优于Split Bregman方法。

ABSTRACT

We consider the image denoising problem using total variation (TV) regularization. This problem can be computationally challenging to solve due to the non-differentiability and non-linearity of the regularization term. We propose an alternating direction augmented Lagrangian (ADAL) method, based on a new variable splitting approach that results in subproblems that can be solved efficiently and exactly. The global convergence of the new algorithm is established for the anisotropic TV model. For the isotropic TV model, by doing further variable splitting, we are able to derive an ADAL method that is globally convergent. We compare our methods with the split Bregman method \cite{goldstein2009split},which is closely related to it, and demonstrate their competitiveness in computational performance on a set of standard test images.

研究动机与目标

• 为解决由于TV正则化项的不可微性和非线性导致的TV去噪问题的计算挑战。
• 为各向异性和各向同性TV模型开发一种具有全局收敛性保证的交替方向增广拉格朗日（ADAL）算法。
• 与现有方法（如Split Bregman和SALSA）相比，提升计算效率和收敛速度。
• 提出一种新颖的变量分裂策略，使得ADAL每轮迭代中的子问题能够实现精确且高效的求解。
• 在标准测试图像上对所提方法进行实验验证，并与最先进算法进行性能比较。

提出的方法

• 通过引入两个辅助变量（一个用于图像$ u $，一个用于离散梯度$ D_i u $）提出对偶变量分裂方法，将原始问题转化为约束优化问题。
• 将交替方向增广拉格朗日（ADAL）方法应用于分裂后的问题，实现对偶变量和原始变量的交替最小化，并实现子问题的精确求解。
• 对于各向异性TV模型，通过求解涉及简单$ \ell_1 $-软阈值化和三对角线性系统的子问题，实现全局收敛。
• 对于各向同性TV模型，引入第三个辅助变量以确保全局收敛，从而可利用Chambolle算法实现Moreau近端映射。
• 在ADAL-\mu变体中采用自适应$ \mu $更新策略，以加速收敛，同时不牺牲全局收敛性保证。
• 在各向异性情况下使用高斯-赛德尔扫描求解线性系统，而各向同性变体则通过引入额外约束和变量更新以维持收敛性。

实验结果

研究问题

• RQ1 ADAL方法中采用的新变量分裂策略是否能带来TV去噪中更快的收敛速度和更好的计算效率？
• RQ2 所提出的ADAL方法是否对各向异性和各向同性TV模型均实现全局收敛，尤其在以往方法缺乏收敛性保证的情况下？
• RQ3 在标准测试图像上，与Split Bregman和SALSA相比，所提方法在收敛速度和计算成本方面表现如何？
• RQ4 在各向同性TV情况下，额外的变量分裂对收敛性保证和每轮迭代计算成本有何影响？
• RQ5 自适应$ \mu $-更新能否在不损害全局收敛性的前提下提升收敛速度？

主要发现

• 所提出的ADAL方法在各向异性TV去噪中实现了全局收敛，且收敛速度显著快于Split Bregman方法，在所有测试图像上均需更少的迭代次数。
• 对于各向同性TV模型，ADAL-\mu变体实现了全局收敛，每轮迭代的计算量约为48mn flops，略高于SplitBregman的34mn flops。
• ADAL-\mu和ADAL-conv-\mu在各向同性模型上的迭代次数约为SplitBregman的一半，尽管每轮计算成本更高，但总体CPU时间最少。
• 平均而言，ADAL-\mu在所有测试方法中收敛速度最快，对各向异性和各向同性模型的迭代次数均最少。
• 该方法的计算效率归因于通过$ \ell_1 $-软阈值化和三对角系统求解实现的精确子问题求解，从而减少了迭代次数和整体运行时间。
• 实验结果表明，ADAL-\mu变体在迭代次数和CPU时间方面均优于SplitBregman，尤其在各向同性模型上表现更优，因为该模型的收敛计算更为复杂。