[论文解读] Improved Bounds on the Restricted Isometry Constant for Orthogonal Matching Pursuit

Jinming Wen, Xiaomei Zhu+1 more|arXiv (Cornell University)|Jun 17, 2014

Sparse and Compressive Sensing Techniques参考文献 7被引用 5

一句话总结

本文在压缩感知中建立了正交匹配追踪（OMP）的限制等距常数（RIC）的更紧界。证明了当 δ_{K+1} ≥ 1/√(K+1) 时，OMP 可能无法恢复任意 K-稀疏信号，进一步表明当 δ_{K+1} ≤ 1/(√K + 1) 时，OMP 能够保证对所有 K-稀疏信号实现精确恢复，优于先前的充分条件。

ABSTRACT

In this letter, we first construct a counter example to show that for any given positive integer $K\geq 2$ and for any $\frac{1}{\sqrt{K+1}}\leq t<1$, there always exist a $K-$sparse $\x$ and a matrix $\A$ with the restricted isometry constant $δ_{K+1}=t$ such that the OMP algorithm fails in $K$ iterations. Secondly, we show that even when $δ_{K+1}=\frac{1}{\sqrt{K}+1}$, the OMP algorithm can also perfectly recover every $K-$sparse vector $\x$ from $\y=\A\x$ in $K$ iteration. This improves the best existing results which were independently given by Mo et al. and Wang et al.

研究动机与目标

• 研究正交匹配追踪（OMP）在确保 K-稀疏信号精确恢复的前提下，限制等距常数（RIC）δ_{K+1} 的最紧上界。
• 解决关于 δ_{K+1} 阈值的猜想，即 OMP 在 K 次迭代中可能失败的临界值。
• 通过收紧 δ_{K+1} 的上界，改进现有 OMP 恢复的充分条件。

提出的方法

• 构造一个反例矩阵 A 和 K-稀疏信号 x，使得对任意 t ∈ [1/√(K+1), 1)，有 δ_{K+1} = t，从而证明 OMP 在 K 次迭代中失败。
• 通过特征值分解构造对称正定矩阵，以确保满足所需的 RIC 值。
• 证明若 δ_{K+1} ≤ 1/(√K + 1)，则 OMP 在每次迭代中均能选择正确的支持索引，通过比较残差与字典原子的内积实现。
• 应用引理 2.3，将 RIC 与 ||A(x - x')|| 和 ||A(x + x')|| 的范数联系起来，建立 RIC 边界等价条件。
• 利用数学归纳法和矩阵范数不等式，证明在新界下，与正确支持的相关性始终超过与错误索引的相关性。
• 借助已知的 RIC 与 OMP 行为结果，通过一种新颖的关键论证，对先前证明进行精细化处理，从而弥合必要条件与充分条件之间的差距。

实验结果

研究问题

• RQ1 当 δ_{K+1} < 1/√K 时，OMP 是否可能无法恢复 K-稀疏信号，从而与早期猜想相矛盾？
• RQ2 δ_{K+1} = 1/√(K+1) 是否为 OMP 在 K 次迭代中可能失败的真正阈值？
• RQ3 能否将 OMP 恢复的充分条件从 δ_{K+1} < 1/(√K + 1) 改进为 δ_{K+1} ≤ 1/(√K + 1)？
• RQ4 保证 OMP 对所有 K-稀疏信号成功恢复的最小 RIC 值是多少？
• RQ5 OMP 恢复的必要条件与充分条件之间是否存在差距，该差距能否被弥合？

主要发现

• 对任意 K ≥ 2 及任意 t ∈ [1/√(K+1), 1)，均存在一个 K-稀疏信号 x 和一个满足 δ_{K+1}(A) = t 的矩阵 A，使得 OMP 在 K 次迭代中失败。
• 该反例表明，即使 δ_{K+1} < 1/√K，OMP 仍可能失败，从而否定了 δ_{K+1} < 1/√K 为失败阈值的猜想。
• 本文确立了 δ_{K+1} ≤ 1/(√K + 1) 是 OMP 在 K 次迭代内精确恢复所有 K-稀疏信号的充分条件。
• 该充分条件优于先前的最佳结果 δ_{K+1} < 1/(√K + 1)，现包含等号情况。
• 证明表明，在 δ_{K+1} ≤ 1/(√K + 1) 条件下，残差与正确支持的相关性在每次迭代中均超过与任一错误索引的相关性。
• 作者证明了当 δ_{K+1} = 1/(√K + 1) 时，OMP 仍能保证成功，从而弥合了先前理论边界的缺口。