[论文解读] A remark about orthogonal matching pursuit algorithm

Zhiqiang Xu|arXiv (Cornell University)|May 18, 2010

Sparse and Compressive Sensing Techniques参考文献 10被引用 4

一句话总结

本文首次为压缩感知中的正交匹配追踪（OMP）算法建立了实例最优性保证，证明在受限等距性质（RIP）条件下，OMP在 $1 \leq p \leq q \leq 2$，$(p,q) \neq (2,2)$ 时达到 $(p,q)$ 实例最优性。此外，还证明当测量矩阵从合适分布中抽取时，OMP在概率意义下是 $(2,2)$ 实例最优的。

ABSTRACT

In this note, we investigate the theoretical properties of Orthogonal Matching Pursuit (OMP), a class of decoder to recover sparse signal in compressed sensing. In particular, we show that the OMP decoder can give $(p,q)$ instance optimality for a large class of encoders with $1\leq p\leq q \leq 2$ and $(p,q) eq (2,2)$. We also show that, if the encoding matrix is drawn from an appropriate distribution, then the OMP decoder is $(2,2)$ instance optimal in probability.

研究动机与目标

• 建立压缩感知中正交匹配追踪（OMP）解码器的理论实例最优性性质。
• 确定 OMP 在 $1 \leq p \leq q \leq 2$ 条件下（排除 $(2,2)$ 情况）实现 $(p,q)$ 实例最优性的条件。
• 分析 OMP 在噪声存在下的性能，推导涉及最佳 $k$-项逼近误差和噪声水平的误差界。
• 证明当测量矩阵从合适分布中抽取时，OMP 在概率意义下是 $(2,2)$ 实例最优的。
• 量化 OMP 实现实例最优性所需的测量次数，表明其最优性仅相差一个常数因子。

提出的方法

• 将 Cohen、Dahmen 和 DeVore [4] 以及 Zhang [13] 的技术适配于在 RIP 条件下分析 OMP 的恢复误差。
• 利用 RIP 条件 $\delta_k + (1+\delta)\delta_{\alpha k} \leq \delta$，其中 $\alpha = \lceil 16 + 15\delta \rceil$，来限制 OMP 迭代恢复过程中的误差。
• 应用 Hölder 不等式关联 $\ell_q$ 与 $\ell_p$ 范数，从而推导出 $(p,q)$ 实例最优性界。
• 采用两步逼近策略：首先用 $\beta_{2k}(x)$ 近似 $x$，然后通过 RIP 和残差能量控制，界定 $x^*$ 与 $\beta_{2k}(x)$ 之间的误差。
• 引入概率意义下的 RIP 和概率有界性，以处理随机矩阵，从而证明在概率意义下实现 $(2,2)$ 实例最优性。
• 推导误差界中显式的常数 $C_0$ 和 $C_1$，其依赖于 $\delta$、$\alpha$ 以及 $\ell_p$ 到 $\ell_q$ 的归一化常数。

实验结果

研究问题

• RQ1 在何种条件下 OMP 解码器对 $1 \leq p \leq q \leq 2$，$p \neq 2$ 实现 $(p,q)$ 实例最优性？
• RQ2 当测量矩阵从合适分布中随机抽取时，OMP 是否能在概率意义下实现 $(2,2)$ 实例最优性？
• RQ3 OMP 实现实例最优性所需的最少测量次数是多少？该数量是否仅相差一个常数因子？
• RQ4 OMP 的误差界如何随最佳 $k$-项逼近误差 $\sigma_k(x)_p$ 和噪声水平 $\epsilon$ 变化？
• RQ5 误差界中的项 $k^{1/q - 1/2}\epsilon$ 是否可进一步改进？对于任意扰动是否为紧界？

主要发现

• 当测量矩阵 $\Phi$ 满足 $\delta_k + (1+\delta)\delta_{\alpha k} \leq \delta$ 且 $\alpha = \lceil 16 + 15\delta \rceil$ 时，OMP 在 $1 \leq p \leq q \leq 2$，$(p,q) \neq (2,2)$ 时实现 $(p,q)$ 实例最优性。
• 误差界为 $\|x^* - x\|_q \leq C_0 \frac{\sigma_k(x)_p}{k^{1/p - 1/q}} + C_1 k^{1/q - 1/2} \epsilon$，其中 $C_0$ 和 $C_1$ 为显式常数，依赖于 $\delta$ 和 $\alpha$。
• 当 $(q,p) = (2,1)$ 时，该界变为 $\|\text{OMP}_{2(\alpha-1)k}(\Phi x) - x\|_2 \leq C_2 \sigma_k(x)_1 / \sqrt{k}$，其中 $C_2 = 2(1+\delta)(\sqrt{11+20\delta}+1) + 3$。
• OMP 实现实例最优性所需的测量次数为 $O(k(N/k)^{2-2/p} \log(N/k))$，其最优性仅相差一个常数因子。
• 误差界中的项 $k^{1/q - 1/2}\epsilon$ 是紧致的，无法对任意扰动 $e$ 进一步改进。
• 当测量矩阵 $\Phi$ 从满足概率意义 RIP 的分布中抽取时，OMP 在概率意义下是 $(2,2)$ 实例最优的，且 $\|x^* - x\|_2 \leq C \sigma_k(x)_2$ 以高概率成立。