[论文解读] Bias Reduction in Compressed Sensing

Carl Olsson, Marcus Carlsson+1 more|arXiv (Cornell University)|Dec 29, 2018

Sparse and Compressive Sensing Techniques参考文献 34被引用 3

一句话总结

本论文提出了一种新型的压缩感知偏差减少框架，通过使用二次包络将非凸稀疏性与低秩惩罚项同凸的ℓ1-范数和核范数正则化相结合。该方法实现了无偏估计并提升了优化稳定性，在合成数据和真实世界计算机视觉任务中均优于标准的ℓ1和核范数松弛方法，尤其在非刚性结构运动恢复与点云配准等存在噪声和病态条件的任务中表现更优。

ABSTRACT

Sparsity and rank functions are important ways of regularizing under-determined linear systems. Optimization of the resulting formulations is made difficult since both these penalties are non-convex and discontinuous. The most common remedy is to instead use the $\ell^1$- and nuclear-norms. While these are convex and can therefore be reliably optimized they suffer from a shrinking bias that degrades the solution quality in the presence of noise. In this paper we combine recently developed bias free non-convex alternatives with the nuclear- and $\ell^1-$penalties. This reduces bias and still enables reliable optimization properties. We develop an efficient minimization scheme using derived proximal operators and evaluate the method on several real and synthetic computer vision applications with promising results.

研究动机与目标

• 为解决压缩感知中ℓ1和核范数松弛固有的收缩偏差问题。
• 开发一种非凸、无偏的正则化框架，在类似限制等距性的条件下保持全局收敛保证。
• 通过结合非凸惩罚项与凸正则化项，提升病态问题中的优化稳定性。
• 在真实与合成的计算机视觉任务上评估该方法，包括非刚性结构运动恢复与点集配准。
• 证明所提公式在重建精度和鲁棒性方面优于标准ℓ1和核范数松弛方法。

提出的方法

• 使用二次包络Q2(f)构建组合惩罚项µ∥x∥0 + λ∥x∥1的非凸松弛，确保其偏差控制优于仅使用ℓ1范数。
• 将相同原理应用于秩与核范数情形：Q2(µrank(X) + λ∥X∥∗)，实现无偏低秩估计。
• 推导新惩罚项的高效邻近算子，以支持使用一阶方法的可扩展优化。
• 在强RLIP条件下，采用迭代最小化方案求解所得非凸问题，并保证收敛至全局最小值。
• 采用混合正则化策略：以非凸稀疏性/秩惩罚实现偏差减少，以凸ℓ1/核范数提升收敛域。
• 实验中固定λ=5以平衡偏差与稳定性，通过调节µ控制稀疏性与秩。

实验结果

研究问题

• RQ1 结合非凸稀疏性/秩惩罚与凸ℓ1/核范数的混合正则化方法，能否在压缩感知中减少估计偏差？
• RQ2 所提方法在类似限制等距性条件下是否仍保持全局最优性保证，同时提升对噪声和病态性的鲁棒性？
• RQ3 在实践中，引入弱ℓ1或核范数惩罚项如何影响非凸公式的收敛域？
• RQ4 在非刚性结构运动恢复中，所提方法是否在高秩条件下优于ℓ1和核范数松弛方法，实现更高的重建精度？
• RQ5 在点云配准中，该方法是否产生更少的异常值并提供比标准ℓ1和核范数公式更优的内点估计？

主要发现

• 所提方法（48）在非刚性结构运动恢复中始终优于ℓ1范数（2）和纯非凸秩惩罚（47），在数据拟合与真实值距离方面表现更优。
• 当µ值较低（高秩）时，核范数松弛（49）因收缩偏差而产生较大重建误差，尽管数据拟合良好。
• 混合公式（48）在广泛的µ值范围内保持稳定性能，避免了（47）在高秩时的不稳定性。
• 在点云配准中，（14）产生的异常值少于（5）和（2），尤其在存在多个强假设时表现更优。
• 该方法在合成与真实世界实验中均表现优越，展示了在病态场景下的更强鲁棒性与更高精度。
• 引入弱λ∥X∥∗项可稳定优化过程而不引入显著偏差，即使在RLIP条件较弱时也能实现可靠恢复。