[论文解读] ICR: Iterative Convex Refinement for Sparse Signal Recovery Using Spike and Slab Priors

Hojjat Seyed Mousavi, Vishal Monga+1 more|arXiv (Cornell University)|Feb 16, 2015

Sparse and Compressive Sensing Techniques参考文献 47被引用 14

一句话总结

本文提出了一种名为迭代凸精炼（ICR）的新算法，用于使用 spike and slab 先验进行稀疏信号恢复，通过求解一系列收敛至原始非凸优化问题次优解的凸子问题。ICR 在合成与真实世界图像恢复任务中均达到最先进性能，优于现有方法，在准确性和收敛性方面表现更优，尤其在小规模问题中更接近全局解。

ABSTRACT

In this letter, we address sparse signal recovery using spike and slab priors. In particular, we focus on a Bayesian framework where sparsity is enforced on reconstruction coefficients via probabilistic priors. The optimization resulting from spike and slab prior maximization is known to be a hard non-convex problem, and existing solutions involve simplifying assumptions and/or relaxations. We propose an approach called Iterative Convex Refinement (ICR) that aims to solve the aforementioned optimization problem directly allowing for greater generality in the sparse structure. Essentially, ICR solves a sequence of convex optimization problems such that sequence of solutions converges to a sub-optimal solution of the original hard optimization problem. We propose two versions of our algorithm: a.) an unconstrained version, and b.) with a non-negativity constraint on sparse coefficients, which may be required in some real-world problems. Experimental validation is performed on both synthetic data and for a real-world image recovery problem, which illustrates merits of ICR over state of the art alternatives.

研究动机与目标

• 解决贝叶斯稀疏信号恢复中由 spike and slab 先验引发的困难非凸优化问题。
• 开发一种通用方法，直接求解原始非凸问题，无需简化假设或松弛。
• 使 spike and slab 先验可应用于需非负性约束的实际问题，如图像恢复。
• 为所提出的迭代算法提供理论收敛保证。
• 在合成数据与真实图像重建任务中，展示 ICR 相较于最先进方法的优越性能。

提出的方法

• ICR 将一系列凸优化子问题构造成迭代精炼过程，逐步逼近原始非凸问题的次优解。
• 该算法使用基于 spike and slab 先验的重加权 ℓ1 类惩罚项，权重根据当前估计值迭代更新。
• 核心更新步骤涉及在每次迭代中通过逼近原始非凸目标函数的代理函数，求解一个凸优化问题。
• 提出两种变体：一种无约束版本，另一种用于实际应用的非负性约束版本。
• 该方法利用主要化-最小化框架，其中每个子问题被构造为主要化原始非凸代价函数。
• 通过理论分析证明，最优代价函数值序列形成具有 O(1/n) 衰减率的拟柯西序列，从而实现收敛。

实验结果

研究问题

• RQ1 能否在不作简化假设的前提下，直接求解非凸 spike and slab 优化问题而不使用松弛？
• RQ2 ICR 在准确性和收敛性方面与最先进稀疏恢复方法相比表现如何？
• RQ3 在实际图像重建任务中，非负性约束在多大程度上提升了恢复性能？
• RQ4 在小规模问题中，ICR 相较于其他方法能多接近全局最优解？
• RQ5 对于迭代凸精炼过程的收敛性，可提供哪些理论保证？

主要发现

• ICR 在小规模问题中与全局解的匹配度最高，优于其他最先进方法，能更准确地恢复真实稀疏信号。
• 在不同噪声水平下，ICR 的无约束版本在合成稀疏信号恢复任务中显著优于现有基于 spike and slab 的方法。
• 在真实世界图像恢复任务中，ICR 展现出更优的重建质量，尤其在保留细节和减少伪影方面表现突出。
• ICR 的收敛性在实验中远快于理论预测的 O(1/n) 衰减率，表明其具有强大的实际性能。
• ICR 的非负性约束变体在要求系数非负的图像恢复应用中，有效提升了重建准确性。
• 理论分析证实，ICR 中最优代价函数值序列形成拟柯西序列，支持其收敛至原始问题的次优解。