[论文解读] A Sharp Restricted Isometry Constant Bound of Orthogonal Matching Pursuit

Qun Mo|arXiv (Cornell University)|Jan 8, 2015

Sparse and Compressive Sensing Techniques参考文献 14被引用 41

一句话总结

本文建立了正交匹配追踪（OMP）在 s 次迭代内精确恢复任意 s-稀疏信号的严格充分条件：若测量矩阵 A 的限制等距常数（RIC）满足 δ_{s+1}(A) < 1/√(s+1)，则 OMP 成功。该界是紧致的，因为本文构造了一个满足 δ_{s+1}(A) = 1/√(s+1) 的矩阵，使得 OMP 在某些情况下会失败，从而填补了已知充分条件与必要条件之间的差距。

ABSTRACT

We shall show that if the restricted isometry constant (RIC) $δ_{s+1}(A)$ of the measurement matrix $A$ satisfies $$ δ_{s+1}(A) &lt; \frac{1}{\sqrt{s + 1}}, $$ then the greedy algorithm Orthogonal Matching Pursuit(OMP) will succeed. That is, OMP can recover every $s$-sparse signal $x$ in $s$ iterations from $b = Ax$. Moreover, we shall show the upper bound of RIC is sharp in the following sense. For any given $s \in \N$, we shall construct a matrix $A$ with the RIC $$ δ_{s+1}(A) = \frac{1}{\sqrt{s + 1}} $$ such that OMP may not recover some $s$-sparse signal $x$ in $s$ iterations.

研究动机与目标

• 填补已知 OMP 在 s 次迭代内精确恢复 s-稀疏信号的充分条件与必要条件之间的差距。
• 建立保证 OMP 成功的限制等距常数（RIC）δ_{s+1}(A) 的严格上界。
• 通过构造一个满足 δ_{s+1}(A) = 1/√(s+1) 且 OMP 对某些 s-稀疏信号失败的矩阵，证明界 δ_{s+1}(A) < 1/√(s+1) 是最优的。
• 为压缩感知框架下 OMP 性能极限提供理论基础。

提出的方法

• 证明若 δ_{s+1}(A) < 1/√(s+1)，则信号 x 的支撑集中任意索引 k 的最大相关性 |⟨Ax, Ae_k⟩| 会超过支撑集外索引的相关性，从而确保 OMP 在每次迭代中选择正确索引。
• 利用一个关键恒等式，将范数差 ‖A(x + t e_k)‖² − ‖A(t²x − t e_k)‖² 与参数 t = −(√(s+1)−1)/√s 关联，从而建立 RIC 与相关性大小之间的关系。
• 应用 RIP 定义，以 δ_{s+1}(A) 和参数 t 表示范数差的下界。
• 构造一个特定的 (s+1)×(s+1) 矩阵 A，通过 A^T A 的特征值分析，使 δ_{s+1}(A) = 1/√(s+1)，且其列具有结构化形式。
• 通过显式构造证明：对于该矩阵和一个在前 s 个位置取值相等的 s-稀疏信号 x，所有 s+1 个列与 Ax 的相关性绝对值 |⟨Ax, Ae_k⟩| 相等，导致 OMP 可能在第一次迭代中选择错误索引。
• 利用数学归纳法与正交投影性质，证明当正确支撑集未在早期被选中时，OMP 在 s 次迭代内无法恢复信号 x。

实验结果

研究问题

• RQ1 δ_{s+1}(A) 的最紧致上界是什么？该上界能保证 OMP 在恰好 s 次迭代内恢复任意 s-稀疏信号？
• RQ2 条件 δ_{s+1}(A) < 1/√(s+1) 是否最优，或可进一步改进？
• RQ3 能否构造一个矩阵，使得 δ_{s+1}(A) = 1/√(s+1)，但 OMP 在 s 次迭代内无法恢复某些 s-稀疏信号？
• RQ4 与文献中已有结果（如 δ_{s+1}(A) < 1/(√s + 1) 或 δ_s(A) + √s δ_{s+1}(A) < 1）相比，该界有何优势？

主要发现

• 条件 δ_{s+1}(A) < 1/√(s+1) 是 OMP 在 s 次迭代内精确恢复任意 s-稀疏信号的充分条件。
• 该界是紧致的，因为存在一个满足 δ_{s+1}(A) = 1/√(s+1) 的矩阵，使得 OMP 在 s 次迭代内无法恢复某个特定的 s-稀疏信号。
• 所构造的矩阵 A 尺寸为 (s+1)×(s+1)，其中 s 个列被缩放为 √(s/(s+1))，外加一个所有元素均为 1/√(s(s+1)) 的列，构成具有已知特征值的结构化矩阵。
• 对于构造的信号 x = (1,1,…,1,0)^T，A 的所有 s+1 个列与 Ax 的相关性绝对值 |⟨Ax, Ae_k⟩| 相等，因此 OMP 在第一次迭代中可能选择错误索引。
• 所构造矩阵的 RIC 恰好为 δ_{s+1}(A) = 1/√(s+1)，通过计算 A^T A 的特征值 1±1/√(s+1) 和 s/(s+1) 得到验证。
• 证明依赖于一个新颖的恒等式，将 A 作用于扰动信号的范数差与 RIC 联系起来，从而建立 OMP 选择所需的相关性主导性。