[论文解读] Alternating Direction Algorithms for $\ell_1$-Problems in Compressive Sensing

Junfeng Yang, Yin Zhang|ArXiv.org|Dec 7, 2009

Sparse and Compressive Sensing Techniques参考文献 47被引用 776

一句话总结

该论文提出了一种基于交替方向法（ADM）的一阶原始-对偶算法，用于求解压缩感知中的 $\alpha$-范数最小化问题，如基追踪和去噪问题。通过将问题重新表述为部分可分形式，并应用精确或近似 ADM，该算法在噪声条件下实现了快速、稳定且鲁棒的收敛，相较于最先进方法在相对误差减少和迭代效率方面表现更优。

ABSTRACT

In this paper, we propose and study the use of alternating direction algorithms for several $\ell_1$-norm minimization problems arising from sparse solution recovery in compressive sensing, including the basis pursuit problem, the basis-pursuit denoising problems of both unconstrained and constrained forms, as well as others. We present and investigate two classes of algorithms derived from either the primal or the dual forms of the $\ell_1$-problems. The construction of the algorithms consists of two main steps: (1) to reformulate an $\ell_1$-problem into one having partially separable objective functions by adding new variables and constraints; and (2) to apply an exact or inexact alternating direction method to the resulting problem. The derived alternating direction algorithms can be regarded as first-order primal-dual algorithms because both primal and dual variables are updated at each and every iteration. Convergence properties of these algorithms are established or restated when they already exist. Extensive numerical results in comparison with several state-of-the-art algorithms are given to demonstrate that the proposed algorithms are efficient, stable and robust. Moreover, we present numerical results to emphasize two practically important but perhaps overlooked points. One point is that algorithm speed should always be evaluated relative to appropriate solution accuracy; another is that whenever erroneous measurements possibly exist, the $\ell_1$-norm fidelity should be the fidelity of choice in compressive sensing.

研究动机与目标

• 开发用于求解压缩感知中出现的 $\ell_1$-最小化问题的高效、稳定且鲁棒的一阶算法。
• 解决从含噪声或损坏测量值的欠定线性系统中恢复稀疏信号的挑战。
• 在收敛速度和解的精度方面，证明所提出的基于 ADM 的算法优于现有最先进求解器。
• 强调在存在错误测量值时使用 $\ell_1$-范数保真项的重要性，主张其优于平方 $\ell_2$-范数。
• 提供一个统一框架，适用于多种 $\ell_1$-问题，包括基追踪、去噪变体以及非负对应问题。

提出的方法

• 通过引入辅助变量和约束，将 $\ell_1$-问题重新表述为部分可分形式。
• 在重述的问题上应用交替方向法（ADM），使用增广拉格朗日函数和交替最小化。
• 推导出两类算法：基于原始变量的和基于对偶变量的，两者在每次迭代中均更新原始和对偶变量。
• 在 ADM 框架内使用精确或近似子问题求解，每轮迭代的计算成本主要由两次矩阵-向量乘法主导。
• 当感知矩阵 $A$ 为正交时，将基于对偶的 ADM 实现为精确方法，以提升效率。
• 开发 MATLAB 工具包 YALL1，用于实现八种不同 $\ell_1$-模型的所提算法，包括非负变体。

实验结果

研究问题

• RQ1 基于 ADM 框架推导出的一阶原始-对偶算法是否能在压缩感知的 $\ell_1$-问题上实现比最先进方法更快且更稳定的收敛？
• RQ2 在实际应用中，所提 ADM 算法在不同噪声水平和停止容差下的性能表现如何？
• RQ3 当测量值包含误差时，为何 $\ell_1$-范数保真项比 $\ell_2$-范数更有效？
• RQ4 算法参数对收敛性和解的精度有何影响？如何在不同问题实例中保持鲁棒性？
• RQ5 ADM 框架在多大程度上可推广至其他 $\ell_1$-类似正则化问题，如矩阵秩最小化或总变差正则化？

主要发现

• 在含噪声测试问题上，所提 ADM 算法的收敛速度更快，且相对误差更低，优于 FPC-BB、SpaRSA、FISTA、CGD、SPGL1 和 NESTA。
• 基于对偶的 ADM 算法通常比基于原始的算法更高效，尤其当 $A$ 为正交时，因其可实现精确子问题求解。
• 该算法对模型和算法参数的变化具有鲁棒性，在多种问题设置下均表现出一致的性能。
• 在噪声条件下，所提算法实现了最佳可达到的解精度，即使在不需要高精度解时也优于其他方法。
• 问题 (6) 中的 $\ell_1$-范数保真项起到了精确罚函数的作用，当 $\nu$ 低于某一阈值时退化为基追踪，因此特别适用于存在错误测量值的情况。
• YALL1 MATLAB 工具包成功实现了八种 $\ell_1$-模型的算法，展示了其广泛适用性和实际应用价值。