[論文レビュー] A remark about orthogonal matching pursuit algorithm

Zhiqiang Xu|arXiv (Cornell University)|May 18, 2010

Sparse and Compressive Sensing Techniques参考文献 10被引用数 4

ひとこと要約

この論文は、圧縮センシングにおける直交匹配 Pursuit (OMP) アルゴリズムについて、最初のインスタンス最適性保証を確立し、制限等方性性質 (RIP) 条件の下で $1 \leq p \leq q \leq 2$、$(p,q) \neq (2,2)$ の場合に OMP が $(p,q)$ インスタンス最適性を達成することを示している。さらに、感応行列が適切な分布から抽出される場合、OMP が確率的に $(2,2)$ インスタンス最適性を達成することを証明している。

ABSTRACT

In this note, we investigate the theoretical properties of Orthogonal Matching Pursuit (OMP), a class of decoder to recover sparse signal in compressed sensing. In particular, we show that the OMP decoder can give $(p,q)$ instance optimality for a large class of encoders with $1\leq p\leq q \leq 2$ and $(p,q) eq (2,2)$. We also show that, if the encoding matrix is drawn from an appropriate distribution, then the OMP decoder is $(2,2)$ instance optimal in probability.

研究の動機と目的

• 圧縮センシングにおける直交一致 Pursuit (OMP) デコーダーの理論的インスタンス最適性特性を確立すること。
• OMP が $1 \leq p \leq q \leq 2$ の条件下で $(p,q)$ インスタンス最適性を達成するための条件を特定すること、ただし $(2,2)$ の場合を除く。
• ノイズが存在する状況における OMP の性能を分析し、最良の $k$-項近似誤差とノイズレベルを含む誤差境界を導出すること。
• 感応行列が適切な分布から抽出される場合、OMP が確率的に $(2,2)$ インスタンス最適性を達成することを示すこと。
• OMP がインスタンス最適性を達成するために必要な測定回数を定量化し、定数要因の意味で最適性を示すこと。

提案手法

• Cohen, Dahmen, and DeVore [4] および Zhang [13] の技術を適応し、RIP 条件の下で OMP の復元誤差を分析する。
• 誤差のバインドに、$\delta_k + (1+\delta)\delta_{\alpha k} \leq \delta$ という RIP 条件（$\alpha = \lceil 16 + 15\delta \rceil$）を用いる。
• Hölder の不等式を用いて $\ell_q$ と $\ell_p$ ノルムの関係を確立し、$(p,q)$ インスタンス最適性の境界を導出可能にする。
• 2段階の近似戦略を採用：まず $x$ を $\beta_{2k}(x)$ で近似し、次に RIP と残差エネルギーの制御を用いて $x^*$ と $\beta_{2k}(x)$ 間の誤差をバインドする。
• 確率的 RIP と確率的有界性を導入し、ランダム行列を扱えるようにし、$(2,2)$ インスタンス最適性の確率的証明を可能にする。
• 誤差境界に現れる明示的な定数 $C_0$ と $C_1$ を導出する。これらは $\delta$、$\alpha$、および $\ell_p$-to-$\ell_q$ 正規化に依存する。

実験結果

リサーチクエスチョン

• RQ1 感応行列 $\Phi$ が $\delta_k + (1+\delta)\delta_{\alpha k} \leq \delta$ を満たす条件下で、OMP デコーダーが $1 \leq p \leq q \leq 2$、$p \neq 2$ の場合に $(p,q)$ インスタンス最適性を達成する条件は何か？
• RQ2 感応行列 $\Phi$ が適切な分布からランダムに抽出される場合、OMP は確率的に $(2,2)$ インスタンス最適性を達成できるか？
• RQ3 OMP がインスタンス最適性を達成するために必要な最小の測定回数は何か？ これは定数要因の意味で最適か？
• RQ4 OMP の誤差境界は、最良の $k$-項近似誤差 $\sigma_k(x)_p$ とノイズレベル $\epsilon$ に対してどのようにスケーリングされるか？
• RQ5 $\epsilon$ の項 $k^{1/q - 1/2}\epsilon$ は改善可能か？ 任意の摂動に対してタイトか？

主な発見

• 感応行列 $\Phi$ が $\delta_k + (1+\delta)\delta_{\alpha k} \leq \delta$ を満たす限り、$1 \leq p \leq q \leq 2$、$(p,q) \neq (2,2)$ の場合に OMP は $(p,q)$ インスタンス最適性を達成する。ここで $\alpha = \lceil 16 + 15\delta \rceil$ である。
• 誤差境界は $\|x^* - x\|_q \leq C_0 \frac{\sigma_k(x)_p}{k^{1/p - 1/q}} + C_1 k^{1/q - 1/2} \epsilon$ であり、$C_0$ と $C_1$ は $\delta$ と $\alpha$ に依存する明示的な定数である。
• $ (q,p) = (2,1) $ の場合、境界は $\|\text{OMP}_{2(\alpha-1)k}(\Phi x) - x\|_2 \leq C_2 \sigma_k(x)_1 / \sqrt{k}$ に簡略化され、$C_2 = 2(1+\delta)(\sqrt{11+20\delta}+1) + 3$ である。
• OMP がインスタンス最適性を達成するために必要な測定回数は $O(k(N/k)^{2-2/p} \log(N/k))$ であり、これは定数要因の意味で最適である。
• 誤差境界における項 $k^{1/q - 1/2}\epsilon$ はタイトであり、任意の摂動 $e$ に対して改善できない。
• 感応行列 $\Phi$ が確率的 RIP を満たす分布から抽出される場合、OMP は確率的に $(2,2)$ インスタンス最適性を達成する。このとき、$\|x^* - x\|_2 \leq C \sigma_k(x)_2$ は高確率で成り立つ。