[论文解读] Modular proximal optimization for multidimensional total-variation regularization

Álvaro Barbero, Suvrit Sra|arXiv (Cornell University)|Nov 3, 2014

Sparse and Compressive Sensing Techniques参考文献 70被引用 56

一句话总结

本文提出了一种用于多维总变差（TV）正则化的模块化邻近优化框架，引入了对紧绷线法的新型几何分析，揭示了其与Condat算法之间的联系，从而实现了1D中ℓ₁-TV的更快、更高效的求解器。该方法通过在可扩展的、多线程的C++、MATLAB和Python库中重用高效的1D-TV邻近算子，在图像和视频去噪、反卷积以及融合lasso问题中实现了最先进性能。

ABSTRACT

We study \emph{TV regularization}, a widely used technique for eliciting structured sparsity. In particular, we propose efficient algorithms for computing prox-operators for $\ell_p$-norm TV. The most important among these is $\ell_1$-norm TV, for whose prox-operator we present a new geometric analysis which unveils a hitherto unknown connection to taut-string methods. This connection turns out to be remarkably useful as it shows how our geometry guided implementation results in efficient weighted and unweighted 1D-TV solvers, surpassing state-of-the-art methods. Our 1D-TV solvers provide the backbone for building more complex (two or higher-dimensional) TV solvers within a modular proximal optimization approach. We review the literature for an array of methods exploiting this strategy, and illustrate the benefits of our modular design through extensive suite of experiments on (i) image denoising, (ii) image deconvolution, (iii) four variants of fused-lasso, and (iv) video denoising. To underscore our claims and permit easy reproducibility, we provide all the reviewed and our new TV solvers in an easy to use multi-threaded C++, Matlab and Python library.

研究动机与目标

• 开发高效且可重用的多维总变差正则化邻近求解器，特别是ℓ₁-TV，以实现在高维数据中的可扩展优化。
• 通过设计快速、模块化的1D-TV求解器，将其组合为高维求解器，解决图像和视频处理中TV正则化的计算瓶颈。
• 建立紧绷线法与Condat算法之间的几何联系，从而设计出性能更优且具有直观解释性的混合求解器。
• 提供一个实用的开源库，支持C++、MATLAB和Python中的多线程、模块化邻近优化，适用于多种基于TV的逆问题。
• 在图像去噪、反卷积、融合lasso和视频去噪等多种应用中，通过真实世界数据的定量基准测试，证明所提框架的有效性。

提出的方法

• 提出一种模块化邻近优化框架，将复杂的多维TV问题分解为可重用的1D-TV邻近子问题。
• 通过一种新颖的分析，引入了对紧绷线法的几何新解释，揭示其与Condat无权重TV算法变体的等价性。
• 开发了一种混合紧绷线算法，结合了紧绷线法的鲁棒性与Condat方法的高效性，实现了加权ℓ₁-TV邻近算子的快速且精确计算。
• 在3D-TV问题中，将线性化紧绷线求解器作为核心1D-TV子程序，集成于并行邻近Dykstra（PPD）算法中，实现了3D-TV去噪与反卷积的可扩展求解。
• 采用带有不精确邻近算子的邻近梯度方法，实现在大规模TV正则化问题中的高效且实用的收敛。
• 提供C++、MATLAB和Python中的多线程、开源实现，所有求解器均经过基准测试且可复现，确保公平比较。

实验结果

研究问题

• RQ1 紧绷线法的几何重解释是否能带来比现有最先进方法更快、更鲁棒的1D-TV邻近求解器？
• RQ2 紧绷线法与Condat算法之间的本质联系是什么？如何利用该联系设计出性能更优的混合求解器？
• RQ3 基于高效1D-TV求解器的模块化邻近优化框架，在2D和3D-TV正则化等更高维问题中是否具有良好的可扩展性？
• RQ4 在图像和视频去噪等实际应用中，所提框架是否相比ADMM、Goldfarb-Yin等现有方法实现了更快的收敛速度和更高的信噪比（ISNR）？
• RQ5 模块化设计在无需重新实现的情况下，能在融合lasso和反卷积等多样化逆问题中实现多大程度的可重用性与可扩展性？

主要发现

• 所提出的混合紧绷线算法在速度和精度方面均优于现有最先进1D-TV求解器，尤其在加权和无权重ℓ₁-TV问题中表现突出。
• 几何分析揭示了紧绷线法与Condat算法之间此前未知的联系，提供了新的直观解释，并促进了更高效混合求解器的设计。
• 在2D图像去噪与反卷积中，结合新1D-TV求解器的模块化框架相比ADMM等方法实现了更快的收敛速度和具有竞争力的ISNR值。
• 在3D视频去噪中，采用新1D-TV求解器的并行邻近Dykstra（PPD）算法在达到中等质量解时速度最快，优于ADMM和Goldfarb-Yin在早期迭代中的表现。
• ADMM（Yang的方法）达到最高精度，并收敛至与PPD相当的解，但运行时间显著更长，因此PPD更适用于实时或资源受限的应用。
• Goldfarb-Yin方法因对TV范数采用离散近似，导致次优解，证实了连续、连续邻近方法（如PPD和ADMM）的优势。