[论文解读] Improved RIP Analysis of Orthogonal Matching Pursuit

Ray Maleh|arXiv (Cornell University)|Feb 21, 2011

Sparse and Compressive Sensing Techniques参考文献 20被引用 22

一句话总结

本文提出了正交匹配追踪（OMP）在重构T-稀疏信号方面基于限制等距性质（RIP）的性能保证的改进，表明其渐近收敛至猜想的理论下界。此外，本文推导了受测量噪声影响的非稀疏信号的重构误差界，并将结果推广至K重OMP（KOMP），尽管最坏情况下的RIP分析较为悲观，但实验性能表现强劲。

ABSTRACT

Orthogonal Matching Pursuit (OMP) has long been considered a powerful heuristic for attacking compressive sensing problems; however, its theoretical development is, unfortunately, somewhat lacking. This paper presents an improved Restricted Isometry Property (RIP) based performance guarantee for T-sparse signal reconstruction that asymptotically approaches the conjectured lower bound given in Davenport et al. We also further extend the state-of-the-art by deriving reconstruction error bounds for the case of general non-sparse signals subjected to measurement noise. We then generalize our results to the case of K-fold Orthogonal Matching Pursuit (KOMP). We finish by presenting an empirical analysis suggesting that OMP and KOMP outperform other compressive sensing algorithms in average case scenarios. This turns out to be quite surprising since RIP analysis (i.e. worst case scenario) suggests that these matching pursuits should perform roughly T^0.5 times worse than convex optimization, CoSAMP, and Iterative Thresholding.

研究动机与目标

• 通过基于限制等距性质（RIP）的分析，改进正交匹配追踪（OMP）的理论性能保证。
• 将分析扩展至受测量噪声影响的非稀疏信号，提供重构误差界。
• 将结果推广至K重正交匹配追踪（KOMP），实现多追迹恢复。
• 调和理论最坏情况RIP界与实际性能之间的矛盾，后者在实践中常优于凸优化方法。

提出的方法

• 推导出基于RIP的充分条件，用于使用OMP精确恢复T-稀疏信号，其结果趋近于猜想的理论下界。
• 引入在有界测量噪声下对一般非稀疏信号的重构误差界，基于RIP常数。
• 提出OMP的K重变体（KOMP），并将RIP分析推广至该多正交追迹框架。
• 基于RIP常数进行最坏情况分析，以在不同稀疏度和噪声水平下建立理论恢复保证。
• 使用数学归纳法与向量投影分析，对每次OMP迭代的残差误差进行上界估计。
• 通过与其它压缩感知算法对比的实验仿真，验证理论发现。

实验结果

研究问题

• RQ1 能否将OMP的基于RIP的恢复条件收紧至趋近于猜想的理论下界？
• RQ2 当OMP应用于受测量噪声影响的非稀疏信号时，其重构误差界是什么？
• RQ3 在相同RIP条件下，K重OMP（KOMP）的性能与标准OMP相比如何？
• RQ4 为何尽管最坏情况下的RIP保证较差，OMP与KOMP在实际中仍常优于如CoSAMP和迭代硬阈值化等凸优化方法？
• RQ5 理论RIP界在多大程度上能准确预测匹配追踪算法的平均性能？

主要发现

• 所提出的OMP基于RIP的恢复条件渐近趋近于猜想的下界，优于先前的理论保证。
• 推导出依赖于RIP常数与噪声水平的非稀疏信号重构误差界，展现出对测量噪声的鲁棒性。
• 分析可推广至KOMP，表明多追迹策略在相似RIP条件下仍保持理论恢复保证。
• 实验结果表明，OMP与KOMP在平均情况下的性能优于凸优化与迭代阈值化方法。
• 基于RIP的理论最坏情况分析表明OMP的性能应比凸方法差约T^0.5倍，但实验结果与此矛盾，表明最坏情况与平均情况性能之间存在差距。
• 改进的RIP条件使得在比先前界限更宽松的RIP要求下，即可实现T-稀疏信号的精确恢复，从而增强了实际适用性。