[论文解读] Minimization of Transformed $L_1$ Penalty: Closed Form Representation and Iterative Thresholding Algorithms

Shuai Zhang, Jack Xin|arXiv (Cornell University)|Dec 17, 2014

Sparse and Compressive Sensing Techniques参考文献 27被引用 5

一句话总结

本文提出了一种变换$ L_1 $（TL1）惩罚的闭式阈值表示，使压缩感知中稀疏信号恢复的高效迭代阈值算法成为可能。TL1方法在非相干和相干感知矩阵下均表现出优越的鲁棒性和准确性，优于硬阈值和半阈值方法，尤其通过自适应半迭代方案（TL1IT-s1）表现更佳。

ABSTRACT

The transformed $l_1$ penalty (TL1) functions are a one parameter family of bilinear transformations composed with the absolute value function. When acting on vectors, the TL1 penalty interpolates $l_0$ and $l_1$ similar to $l_p$ norm ($p \in (0,1)$). In our companion paper, we showed that TL1 is a robust sparsity promoting penalty in compressed sensing (CS) problems for a broad range of incoherent and coherent sensing matrices. Here we develop an explicit fixed point representation for the TL1 regularized minimization problem. The TL1 thresholding functions are in closed form for all parameter values. In contrast, the $l_p$ thresholding functions ($p \in [0,1]$) are in closed form only for $p=0,1,1/2,2/3$, known as hard, soft, half, and 2/3 thresholding respectively. The TL1 threshold values differ in subcritical (supercritical) parameter regime where the TL1 threshold functions are continuous (discontinuous) similar to soft-thresholding (half-thresholding) functions. We propose TL1 iterative thresholding algorithms and compare them with hard and half thresholding algorithms in CS test problems. For both incoherent and coherent sensing matrices, a proposed TL1 iterative thresholding algorithm with adaptive subcritical and supercritical thresholds consistently performs the best in sparse signal recovery with and without measurement noise.

研究动机与目标

• 为所有参数值开发TL1阈值函数的闭式表示，克服$L_p$惩罚在$p \in (0,1)$时仅对特定$p$值具有闭式解的局限。
• 基于TL1设计计算高效且适用于高维压缩感知问题的迭代阈值算法。
• 在非相干和相干感知矩阵下，评估基于TL1的算法在有无测量噪声情况下的稀疏信号恢复性能。
• 通过自适应参数更新，建立TL1阈值在不同稀疏度水平和测量条件下的鲁棒性。
• 将TL1与现有非凸稀疏促进惩罚（如$L_0$、$L_1$和半阈值）在恢复精度和稳定性方面进行比较。

提出的方法

• 通过矩阵乘法和标量阈值运算，推导出TL1正则化最小化问题的不动点表示。
• 为变换参数$a$的所有参数值建立TL1阈值函数的闭式表达式，区分亚临界和超临界区域的公式。
• 提出三种迭代阈值算法：直接不动点算法（DFA）、半自适应（TL1IT-s1）和自适应（TL1IT-s2），其区别在于正则化和变换参数的更新方式。
• 采用半自适应方案（TL1IT-s1），根据解的稀疏度估计动态调整正则化参数$\lambda$，从而提升收敛性和精度。
• 在超临界区域，利用涉及反余弦（通过三倍角恒等式）的立方根公式计算阈值函数，确保解析可处理性。
• 在不动点迭代框架中应用阈值函数，每一步均涉及矩阵-向量乘法和逐元素阈值运算。

实验结果

研究问题

• RQ1 是否能够为所有参数值建立变换$ L_1 $惩罚的闭式阈值函数，而不同于$ L_p $惩罚仅在特定$p$值下具有闭式解？
• RQ2 在亚临界和超临界参数区域，TL1阈值函数的行为（连续性与不连续性）有何不同？
• RQ3 基于TL1的迭代阈值算法在从非相干和相干感知矩阵的压缩感知测量中恢复稀疏信号方面的性能如何？
• RQ4 在噪声条件下，自适应TL1IT-s1算法与硬阈值和半阈值方法在恢复精度和鲁棒性方面相比如何？
• RQ5 当真实稀疏度水平仅被粗略估计而非精确已知时，TL1阈值函数是否仍能保持稳定性和准确性？

主要发现

• TL1阈值函数对变换参数$a$的所有取值均具有闭式表达，而$L_p$惩罚仅在$p = 0, 1, 1/2, 2/3$时具有闭式解。
• TL1阈值函数在亚临界区域表现出连续行为（类似于软阈值），在超临界区域表现出不连续行为（类似于半阈值），具体取决于参数$a$和$\lambda$。
• 所提出的TL1IT-s1算法通过基于稀疏度估计自适应更新$\lambda$，在非相干（高斯）和相干（过采样DCT）感知矩阵下，始终优于硬阈值和半阈值算法。
• 在存在测量噪声的情况下，TL1IT-s1仍保持最佳性能，展现出在各种感知条件下的鲁棒性。
• 当真实信号稀疏度被粗略估计而非精确已知时，该算法仍表现出稳定性，前提是测量次数超过某一阈值。
• TL1阈值函数满足无偏性、稀疏性和连续性等理想性质，适用于高维设置下的变量选择。