[论文解读] Analysis and algorithms for some compressed sensing models based on L1/L2 minimization

Liaoyuan Zeng, Peiran Yu+1 more|arXiv (Cornell University)|Jul 25, 2020

Sparse and Compressive Sensing Techniques参考文献 37被引用 7

一句话总结

本文提出了一种新颖的 L1/L2 最小化框架，用于在噪声条件下实现鲁棒的压缩感知，通过移动球体近似方法将非凸的 L1/L2 模型扩展至处理含噪测量。在 Kurdyka-Łojasiewicz (KL) 条件下建立了线性收敛性，并在高斯噪声和柯西噪声的数值实验中，展示了其在恢复精度上优于传统 L1 最小化方法。

ABSTRACT

Recently, in a series of papers [32,38,39,41], the ratio of $\ell_1$ and $\ell_2$ norms was proposed as a sparsity inducing function for noiseless compressed sensing. In this paper, we further study properties of such model in the noiseless setting, and propose an algorithm for minimizing $\ell_1$/$\ell_2$ subject to noise in the measurements. Specifically, we show that the extended objective function (the sum of the objective and the indicator function of the constraint set) of the model in [32] satisfies the Kurdyka-Lojasiewicz (KL) property with exponent 1/2; this allows us to establish linear convergence of the algorithm proposed in [39, Eq. 11] under mild assumptions. We next extend the $\ell_1$/$\ell_2$ model to handle compressed sensing problems with noise. We establish the solution existence for some of these models under the spherical section property [37,44], and extend the algorithm in [39, Eq. 11] by incorporating moving-balls-approximation techniques [4] for solving these problems. We prove the subsequential convergence of our algorithm under mild conditions, and establish global convergence of the whole sequence generated by our algorithm by imposing additional KL and differentiability assumptions on a specially constructed potential function. Finally, we perform numerical experiments on robust compressed sensing and basis pursuit denoising with residual error measured by $ \ell_2 $ norm or Lorentzian norm via solving the corresponding $\ell_1$/$\ell_2$ models by our algorithm. Our numerical simulations show that our algorithm is able to recover the original sparse vectors with reasonable accuracy.

研究动机与目标

• 将非凸的 L1/L2 最小化模型从无噪压缩感知场景扩展至含噪压缩感知场景。
• 在较弱假设条件下（包括 KL 性质和可微性）建立所提算法的收敛性保证。
• 利用移动球体近似技术，开发一种求解带不等式约束的 L1/L2 最小化问题的鲁棒算法。
• 在不同噪声模型下，比较所提 L1/L2 模型与标准 L1 最小化方法在恢复误差和残差误差方面的性能。
• 通过在高斯噪声和柯西噪声场景下的广泛数值实验，验证理论结果。

提出的方法

• 构建一个带有一般损失函数 q(x) = P1(x) - P2(x) 的约束型 L1/L2 最小化问题，其中 P1 为光滑函数，P2 为凸函数。
• 应用移动球体近似技术，处理含噪压缩感知模型中的非凸不等式约束。
• 在较弱假设下建立算法的子序列收敛性，并在对构造的势函数施加额外的 KL 性质和可微性条件时，实现全局收敛性。
• 证明扩展后的目标函数满足 Kurdyka-Łojasiewicz (KL) 性质，且指数为 1/2，从而实现算法的线性收敛。
• 采用从 SPGL1 方法获得的可行初始点来初始化算法，提升在病态情况下的鲁棒性。
• 采用线搜索策略，确保迭代过程中目标函数的充分下降。

实验结果

研究问题

• RQ1 L1/L2 最小化模型能否被扩展以处理带有不等式约束的含噪压缩感知？
• RQ2 在 KL 性质指数为 1/2 的条件下，所提算法是否能实现线性收敛？
• RQ3 在高斯噪声和柯西噪声下，L1/L2 模型在恢复误差和残差误差方面与标准 L1 最小化方法相比表现如何？
• RQ4 病态条件和不可行初始点对算法收敛性和精度有何影响？
• RQ5 移动球体近似技术能否有效处理压缩感知中非凸、非光滑的优化问题？

主要发现

• L1/L2 模型的扩展目标函数满足 KL 性质，且指数为 1/2，这在较弱假设下可保证算法的线性收敛。
• 当在特别构造的势函数上施加额外的 KL 性质和可微性假设时，所提算法可实现整个序列的全局收敛。
• 在高斯噪声场景下，L1/L2 模型相比 L1 最小化方法，恢复误差最高可降低 90%，尤其在病态情况下表现更优。
• 在柯西噪声下，L1/L2 模型在残差误差方面表现出显著改进，大多数测试案例中平均残差减少超过 90%。
• 当 SPGL1 提供的初始点高度不可行时，L1/L2 算法性能下降，表明其对初始点质量较为敏感。
• 数值结果证实，L1/L2 模型在 8 个测试配置中的 7 个中优于 L1 最小化方法，尤其在高动态范围和重尾噪声环境下表现突出。