[论文解读] Fast L1-L2 minimization via a proximal operator

Yifei Lou, Ming Yan|arXiv (Cornell University)|Sep 29, 2016

Sparse and Compressive Sensing Techniques参考文献 28被引用 3

一句话总结

本文通过推导L1-L2泛函的解析近似算子，提出一种快速算法用于压缩感知中的L1-L2最小化，使前向-后向分割（FBS）和ADMM能够高效应用。该方法相比传统的差凸规划算法（DCA）显著加快收敛速度，在数值实验中实现最高5倍的加速，同时在一致感知矩阵下保持优异的恢复性能。

ABSTRACT

This paper aims to develop new and fast algorithms for recovering a sparse vector from a small number of measurements, which is a fundamental problem in the field of compressive sensing (CS). Currently, CS favors incoherent systems, in which any two measurements are as little correlated as possible. In reality, however, many problems are coherent, and conventional methods such as $L_1$ minimization do not work well. Recently, the difference of the $L_1$ and $L_2$ norms, denoted as $L_1$-$L_2$, is shown to have superior performance over the classic $L_1$ method, but it is computationally expensive. We derive an analytical solution for the proximal operator of the $L_1$-$L_2$ metric, and it makes some fast $L_1$ solvers such as forward-backward splitting (FBS) and alternating direction method of multipliers (ADMM) applicable for $L_1$-$L_2$. We describe in details how to incorporate the proximal operator into FBS and ADMM and show that the resulting algorithms are convergent under mild conditions. Both algorithms are shown to be much more efficient than the original implementation of $L_1$-$L_2$ based on a difference-of-convex approach in the numerical experiments.

研究动机与目标

• 解决基于差凸规划算法（DCA）的现有L1-L2最小化方法计算效率低下的问题，尽管其恢复性能强大。
• 通过推导非凸L1-L2泛函的解析近似算子，开发一种快速且收敛的L1-L2最小化算法。
• 借助所推导的近似算子，使FBS和ADMM等高效的一阶求解器能够应用于L1-L2最小化。
• 证明所提方法在高度一致的感知矩阵下，相比标准L1最小化和非凸Lp（p<1）方法，在速度和鲁棒性方面均表现更优。
• 研究正则化参数α的延续策略对恢复质量和收敛行为的改善效果。

提出的方法

• 推导L1-L2泛函rα(x) = ||x||₁ - α||x||₂的近似算子的解析闭式解，该泛函推广了L1最小化的软阈值方法。
• 将推导出的近似算子集成到前向-后向分割（FBS）和交替方向乘子法（ADMM）框架中，以求解无约束最小化问题E(x) = rα(x) + l(x)，其中l(x)具有Lipschitz连续梯度。
• 在较弱条件下证明FBS和ADMM变体的全局收敛性，确保所提算法的稳定性和可靠性。
• 在FBS中采用基于Sigmoid函数的规则实现惩罚参数γ的自适应参数更新，以提升收敛速度和鲁棒性。
• 将新FBS和ADMM求解器的性能与标准DCA方法及其他非凸稀疏促进方法（如L1/2的半阈值法）进行比较。
• 通过无噪声和有噪声的压缩感知问题的数值实验，验证所提算法的效率和精度。

实验结果

研究问题

• RQ1 能否为非凸L1-L2泛函推导出解析近似算子，以实现与标准一阶方法结合的高效优化？
• RQ2 与传统的DCA方法相比，采用新近似算子的FBS和ADMM在收敛速度和解质量方面表现如何？
• RQ3 在从高度一致的感知矩阵中恢复稀疏信号时，所提方法是否优于L1最小化和其他非凸稀疏诱导惩罚（如L1/2）？
• RQ4 自适应参数选择（如γ）对基于FBS的L1-L2求解器的收敛性和准确性有何影响？
• RQ5 在参数α中引入延续策略是否能提升L1-L2方法在高度一致感知矩阵下的恢复性能？

主要发现

• 所提方法相比基于DCA的L1-L2最小化实现最高5倍加速，对于100×1500规模的问题，计算时间从DCA的~3.36秒降至ADMM的~0.31秒。
• 对于一致感知矩阵（如DCT，F=5），在测量数M较小时，FBS和ADMM实现的L1-L2方法在恢复精度上优于通过半阈值法实现的L1/2最小化。
• 在M=238的噪声环境下，FBS实现的L1-L2方法MSE为5.71（±0.79），优于L1（MSE: 5.83）和L1/2（MSE: 6.91），且显著快于L1/2（1.92秒 vs. 0.57秒）。
• ADMM采用固定γ=0.8时达到速度与精度的最佳平衡，计算时间0.31秒，MSE为5.09（±0.65），在M=250时优于DCA和L1/2在两项指标上的表现。
• DCA在一致矩阵下恢复效果优于ADMM，这促使在α中采用延续策略以进一步提升性能。
• FBS中采用的自适应γ更新规则提升了收敛性和鲁棒性，在不同问题规模和噪声水平下均表现稳定。