[论文解读] A Second-Order Method for Compressed Sensing Problems with Coherent and Redundant Dictionaries

John Dassios, Kimon Fountoulakis+1 more|arXiv (Cornell University)|May 16, 2014

Sparse and Compressive Sensing Techniques参考文献 14被引用 6

一句话总结

该论文提出了一种原始-对偶牛顿共轭梯度（pdNCG）方法，用于求解具有相干性和冗余字典的压缩感知问题，结合了二阶优化与高效预条件化。该方法实现了全局收敛和超线性局部收敛，相较于一阶方法（如TFOCS），在图像重建任务中速度最高提升3.7倍，同时保持了相当的重建质量。

ABSTRACT

In this paper we are interested in the solution of Compressed Sensing (CS) problems where the signals to be recovered are sparse in coherent and redundant dictionaries. CS problems of this type are convex with non-smooth and non-separable regularization term, therefore a specialized solver is required. We propose a primal-dual Newton Conjugate Gradients (pdNCG) method. We prove global convergence and fast local rate of convergence for pdNCG. Moreover, well-known properties of CS problems are exploited for the development of provably effective preconditioning techniques that speed-up the approximate solution of linear systems which arise. Numerical results are presented on CS problems which demonstrate the performance of pdNCG compared to a state-of-the-art existing solver.

研究动机与目标

• 解决涉及相干性和冗余字典的压缩感知问题所导致的非光滑、非可分正则化项的挑战。
• 开发一种高效的二阶优化方法，以处理此类问题的病态条件和复杂性。
• 设计有效的问题特定预条件器，以加速牛顿迭代中线性系统的求解。
• 在收敛速度和鲁棒性方面，证明所提出的pdNCG方法优于最先进的TFOCS等一阶求解器。
• 为$β$-正则化的$β$-分析问题建立所提pdNCG方法的理论收敛保证。

提出的方法

• 为具有相干性和冗余字典的$β$-分析问题量身定制一种原始-对偶牛顿共轭梯度（pdNCG）方法。
• 在原始-对偶框架中使用牛顿法求解$β$-正则化的最小二乘问题：$\min_x \, c\|W^*x\|_1 + \frac{1}{2}\|Ax - b\|_2^2$。
• 使用共轭梯度法近似求解牛顿系统，其中预条件器基于问题结构设计。
• 利用压缩感知的已知特性（如稀疏性以及$W$的结构，例如曲波、总变差等）来设计高效且低成本的预条件器。
• 将预条件共轭梯度求解器集成到全局化策略中，以确保pdNCG方法的全局收敛性。
• 利用W-RIP（加权限制等距性质）来证明预条件化的有效性并支持收敛性分析。

实验结果

研究问题

• RQ1 对于具有相干性和冗余字典的压缩感知问题，二阶方法是否能实现比一阶方法更快的收敛速度？
• RQ2 如何为牛顿迭代中出现的线性系统设计有效的预条件化？
• RQ3 所提出的pdNCG方法是否在保持全局收敛的同时实现超线性局部收敛？
• RQ4 在CPU时间和重建质量方面，该方法相较于最先进的TFOCS等一阶求解器，性能提升程度如何？
• RQ5 能否利用特定问题结构（如iTV或曲波框架）来设计高效且低成本的预条件器？

主要发现

• pdNCG方法在具有相干性和冗余字典的$β$-分析压缩感知问题中实现了全局收敛和超线性局部收敛速率。
• 在合成Shepp-Logan幻像图像重建任务中，pdNCG比TFOCS快3.7倍，分别耗时16.4秒和60.7秒，且PSNR相近（17.8 dB）。
• 在单像素相机数据上，pdNCG在五幅图像中的四幅上快于TFOCS，平均CPU时间减少1.4倍。
• 该方法在多种压缩感知应用中表现出稳健性能，包括各向同性总变差（iTV）和基于曲波的重建。
• 开发了高效且问题特定的预条件器，显著加速了共轭梯度子求解过程，从而提升了整体效率。
• 数值结果证实，牛顿系统近似解已足够实现加速，且尽管每次迭代成本较高，二阶方法仍具有竞争力。