[论文解读] Convex Approaches to Model Wavelet Sparsity Patterns

Nikhil Rao, Robert D. Nowak+2 more|arXiv (Cornell University)|Apr 22, 2011

Sparse and Compressive Sensing Techniques参考文献 14被引用 19

一句话总结

本文提出重叠组套索（OGL）惩罚项以建模小波系数中的父子依赖关系，使线性反问题（如去卷积和压缩感知）的凸优化成为可能。该方法在保持计算效率的同时，相较于标准套索法实现了更优的重建精度，在去模糊任务中MSE降低高达28%，在压缩感知中显著减少了测量次数。

ABSTRACT

Statistical dependencies among wavelet coefficients are commonly represented by graphical models such as hidden Markov trees(HMTs). However, in linear inverse problems such as deconvolution, tomography, and compressed sensing, the presence of a sensing or observation matrix produces a linear mixing of the simple Markovian dependency structure. This leads to reconstruction problems that are non-convex optimizations. Past work has dealt with this issue by resorting to greedy or suboptimal iterative reconstruction methods. In this paper, we propose new modeling approaches based on group-sparsity penalties that leads to convex optimizations that can be solved exactly and efficiently. We show that the methods we develop perform significantly better in deconvolution and compressed sensing applications, while being as computationally efficient as standard coefficient-wise approaches such as lasso.

研究动机与目标

• 解决传统小波稀疏性模型（如HMT）在去卷积和压缩感知等线性反问题中的非凸性问题。
• 克服先前工作中为处理线性观测算子下的混合马尔可夫依赖关系而采用的贪婪或次优迭代方法的局限性。
• 开发一种凸优化框架，以捕捉小波变换中父子系数的依赖关系，同时不牺牲计算效率。
• 证明组稀疏性惩罚项在重建质量与测量效率方面优于标准套索法。
• 提出一种改进的重叠组套索公式，更好地建模小波系数的层次结构，同时仍可通过标准凸优化技术求解。

提出的方法

• 基于小波树结构导出的重叠组，采用组稀疏性惩罚项构建重建问题，特别地，将各尺度上的父系数与其子系数分组。
• 使用重叠组套索（OGL）结合ℓ1−ℓ2范数公式，促进父子系数对之间的联合稀疏性，保留层次依赖关系。
• 通过分离近似策略，改进标准优化求解器（如SpaRSA）以处理重叠组的非可分性。
• 在二维小波变换中使用四叉树结构定义组，其中每个非叶系数与其在下一更细尺度上的四个子系数分组，或分别与每个子系数分组。
• 引入基于复制的变体（OGLR），用于性能比较并验证重叠组结构的有效性。
• 使用一阶方法求解所得的凸优化问题，确保解的精确性与高效性，与标准套索法相当。

实验结果

研究问题

• RQ1 重叠组稀疏性惩罚项是否在小波系数的父子依赖关系建模上优于标准套索法？
• RQ2 所提出的凸优化框架在重建精度与计算效率方面是否优于非凸或迭代方法？
• RQ3 组惩罚项在多大程度上减少了压缩感知中维持低重建误差所需的测量次数？
• RQ4 与独立的系数级阈值化相比，包含层次依赖关系如何提升去模糊与压缩感知中的性能？
• RQ5 重叠组套索公式是否可使用标准凸优化求解器高效求解，且不损失精度？

主要发现

• 在去模糊任务中，OGL方法实现了0.0031的均方误差（MSE），相比套索法（MSE = 0.0043）提升了28%。
• 在压缩感知中，OGLR变体将MSE降低至0.0031，而套索法为0.0043，表明性能持续提升。
• OGL惩罚比（结构化稀疏性）为0.70，显著低于套索法的1.00，表明其更倾向于自然的小波稀疏模式。
• OGLR惩罚比为0.85，表明重叠组结构比基于复制的替代方法更能有效保留父子依赖关系。
• 在每张64×64子图像仅使用800次测量时，OGL的重建误差低于套索法，且随着噪声增加，性能差距进一步扩大。
• 在压缩感知中，OGL实现低误差所需的测量次数远少于套索法，且在超过300次测量后性能趋于稳定，表明测量效率显著提升。