[论文解读] Minimization of Transformed $L_1$ Penalty: Theory, Difference of Convex Function Algorithm, and Robust Application in Compressed Sensing

Shuai Zhang, Jack Xin|arXiv (Cornell University)|Nov 21, 2014

Sparse and Compressive Sensing Techniques参考文献 39被引用 20

一句话总结

本文提出了一种变换后的 $L_1$（TL1）惩罚作为压缩感知中 $L_1$ 最小化的一种非凸稀疏促进替代方法，利用差分凸（DC）算法（DCATL1）实现高效优化。该文在受限等距性质（RIP）下建立了精确和稳定恢复的理论保证，并通过实验表明，DCATL1 在包括相干矩阵在内的多种感知矩阵中均表现出稳健且顶尖的性能，优于现有最先进方法的一致性和对矩阵条件数的鲁棒性。

ABSTRACT

We study the minimization problem of a non-convex sparsity promoting penalty function, the transformed $l_1$ (TL1), and its application in compressed sensing (CS). The TL1 penalty interpolates $l_0$ and $l_1$ norms through a nonnegative parameter $a \in (0,+\infty)$, similar to $l_p$ with $p \in (0,1]$, and is known to satisfy unbiasedness, sparsity and Lipschitz continuity properties. We first consider the constrained minimization problem and discuss the exact recovery of $l_0$ norm minimal solution based on the null space property (NSP). We then prove the stable recovery of $l_0$ norm minimal solution if the sensing matrix $A$ satisfies a restricted isometry property (RIP). Next, we present difference of convex algorithms for TL1 (DCATL1) in computing TL1-regularized constrained and unconstrained problems in CS. The inner loop concerns an $l_1$ minimization problem on which we employ the Alternating Direction Method of Multipliers (ADMM). For the unconstrained problem, we prove convergence of DCATL1 to a stationary point satisfying the first order optimality condition. In numerical experiments, we identify the optimal value $a=1$, and compare DCATL1 with other CS algorithms on two classes of sensing matrices: Gaussian random matrices and over-sampled discrete cosine transform matrices (DCT). We find that for both classes of sensing matrices, the performance of DCATL1 algorithm (initiated with $l_1$ minimization) always ranks near the top (if not the top), and is the most robust choice insensitive to the conditioning of the sensing matrix $A$. DCATL1 is also competitive in comparison with DCA on other non-convex penalty functions commonly used in statistics with two hyperparameters.

研究动机与目标

• 开发一种满足无偏性、稀疏性和Lipschitz连续性的非凸稀疏促进惩罚函数，弥合 $L_0$ 和 $L_1$ 范数之间的差距。
• 在零空间性质（NSP）和受限等距性质（RIP）下，建立 TL1 最小化的理论恢复条件。
• 设计一种高效的差分凸（DC）算法（DCATL1），用于求解压缩感知中的约束和无约束 TL1 正则化问题。
• 评估 DCATL1 在包括高斯矩阵和过采样 DCT 矩阵在内的多种感知矩阵中的鲁棒性和性能，特别是在非 RIP 范畴内。
• 与现有算法（包括基于 $L_{1/2}$ 和 $L_1 - L_2$ 的方法）在恢复精度和稳定性方面进行比较。

提出的方法

• TL1 惩罚定义为 $ \rho_a(t) = \frac{a t}{a + t} $，其中 $ t \geq 0 $，参数 $ a \in (0, \infty) $，该函数在 $ L_0 $ 和 $ L_1 $ 范数之间插值。
• 引入归一化问题形式以克服原始 TL1 惩罚中缺乏尺度不变性的问题。
• DCATL1 算法采用外层循环进行 DC 优化，内层循环通过交替方向乘子法（ADMM）求解 $ L_1 $-最小化子问题。
• 该算法涉及重复的软阈值操作和矩阵-向量乘法，每个外层迭代仅需一次矩阵求逆。
• 证明了 DCATL1 在无约束问题下收敛至满足一阶最优性条件的驻点。
• 基于 NSP 和 RIP 推导出理论恢复保证，表明在适当条件下可实现 $ L_0 $-最小解的精确和稳定恢复。

实验结果

研究问题

• RQ1 当感知矩阵满足零空间性质（NSP）时，TL1 惩罚能否确保最稀疏解的精确恢复？
• RQ2 在受限等距性质（RIP）下，基于 TL1 的最小化是否能提供稳定恢复，特别是在存在噪声的情况下？
• RQ3 DCATL1 算法在不同类型的感知矩阵中与现有最先进压缩感知方法相比表现如何？
• RQ4 TL1 惩罚是否对病态或相干感知矩阵具有鲁棒性，而 $ L_1 $-基方法常在此类情况下失效？
• RQ5 在 TL1 惩罚中，实现最佳稀疏恢复性能的参数 $ a $ 的最优值是多少？

主要发现

• 通过实验发现，TL1 参数 $ a $ 的最优值为 $ a = 1 $，可实现最佳整体恢复性能。
• 对于高斯随机感知矩阵，DCATL1 排名接近顶尖，优于 $ L_1 $ 方法，并与基于 $ L_{1/2 $ 的迭代重加权最小二乘法性能相当或更优。
• 对于过采样 DCT 矩阵，DCATL1 表现与基于 $ L_1 - L_2 $ 惩罚的最优 DCA 算法相当，展现出强大的鲁棒性。
• DCATL1 是所有测试感知矩阵中最具鲁棒性的算法，对矩阵条件数不敏感，且保持一致的高性能。
• 理论分析证实，DCATL1 收敛至无约束问题下满足一阶最优性条件的驻点。
• TL1 惩罚满足无偏性、稀疏性和 Lipschitz 连续性三大关键性质，使其成为非凸稀疏恢复的强有力候选。