[論文レビュー] Sparse Recovery with Orthogonal Matching Pursuit under RIP

Tong Zhang|arXiv (Cornell University)|May 13, 2010

Sparse and Compressive Sensing Techniques参考文献 18被引用数 5

ひとこと要約

本稿では、制限等長性性質（RIP）の下での直交匹配 Pursuit（OMP）の新しい理論的分析を提示する。RIP がスパースリティレベル $O(\bar{k})$ で成り立つ場合、OMP は測定ノイズのもとでも 2-ノルムで $\bar{k}$-スパース信号を安定して回復できることを示している。主な貢献は、一様回復に必要なランダムプロジェクションの数を $O(\bar{k}\ln d)$ にまで削減したことであり、これにより、従来の $\Omega(\bar{k}^2\ln d)$ や $\Omega(\bar{k}^{1.6}\ln d)$ のプロジェクションを要する結果を改善した。

ABSTRACT

This paper presents a new analysis for the orthogonal matching pursuit (OMP) algorithm. It is shown that if the restricted isometry property (RIP) is satisfied at sparsity level $O(\bar{k})$, then OMP can recover a $\bar{k}$-sparse signal in 2-norm. For compressed sensing applications, this result implies that in order to uniformly recover a $\bar{k}$-sparse signal in $\Real^d$, only $O(\bar{k} \ln d)$ random projections are needed. This analysis improves earlier results on OMP that depend on stronger conditions such as mutual incoherence that can only be satisfied with $Ω(\bar{k}^2 \ln d)$ random projections.

研究の動機と目的

• 制限等長性性質（RIP）の下で、スパース信号回復における直交一致 Pursuit（OMP）のよりタイトな理論的保証を確立すること。
• $\mathbb{R}^d$ 内の $\bar{k}$-スパース信号のための、一様回復に必要なランダムプロジェクションの数を削減すること。
• 従来のOMP回復境界がより強い条件や多くの測定値（例：$\Omega(\bar{k}^2\ln d)$ や $\Omega(\bar{k}^{1.6}\ln d)$ のプロジェクション）を要していたのを改善すること。
• 2次損失に限定されない一般の凸目的関数に対して、制限強い凸性定数を用いてOMPを分析すること。

提案手法

• 制限強い凸性定数 $\rho_{-}(s)$ と $\rho_{+}(s)$ を用いて、2次損失関数に限定されないRIP条​​件の一般化を図る。
• 反復的に相関度の高い特徴を追加し、選択されたサポート集合上で再最適化を行う完全補正勾配法を分析する。
• 信号係数の大きさに基づく階層的グループ化を導入し、$L$ を、信号の尾部エネルギーが特定の比率条件を満たす最小の整数として定義する。
• 反復間での残差誤差の減衰を制御するための重要な不等式を、$\mu = 10\rho_{+}(m)/\rho_{-}(s)$ の比を用いて導出する。
• Lemma A.4 を適用して、$k$ 回の反復後の目的関数誤差を評価する。ここで $k$ は $\rho_{+}(1)/\rho_{-}(s)$ と $\ln(2\mu)$ に基づいて選択される。
• 数学的帰納法を用いて、$O(m \cdot \rho_{+}(1)/\rho_{-}(s) \cdot \ln(2\mu))$ 回の反復後に 2-ノルム誤差が有界であることを示し、最終的な回復保証に至る。

実験結果

リサーチクエスチョン

• RQ1 従来の知られていた条件よりも弱いRIP条件下でも、OMPは $\bar{k}$-スパース信号の2-ノルム回復を安定して達成できるか？
• RQ2 一様回復のための最小のランダムプロジェクション数は、$\mathbb{R}^d$ 内の $\bar{k}$-スパース信号に対してどの程度か？
• RQ3 制限強い凸性を用いることで、2次損失に限定されない一般の凸目的関数に対しても、この分析は拡張可能か？
• RQ4 提案された測定数の境界は、従来の $\Omega(\bar{k}^2\ln d)$ や $\Omega(\bar{k}^{1.6}\ln d)$ のプロジェクションを要する結果と比較してどのように優れているか？
• RQ5 この証明技法は、ノイズのある測定値に対しても、タイトな誤差境界を維持しながら拡張可能か？

主な発見

• RIP がスパースリティレベル $O(\bar{k})$ で成り立つ限り、OMP は測定ノイズのもとでも 2-ノルムで $\bar{k}$-スパース信号を安定して回復できる。
• 一様回復に必要なランダムプロジェクション数は $O(\bar{k}\ln d)$ にまで削減され、これにより従来の $\Omega(\bar{k}^2\ln d)$ や $\Omega(\bar{k}^{1.6}\ln d)$ のプロジェクションを要する結果を改善した。
• 制限強い凸性定数を用いることで、2次損失に限定されない一般の凸目的関数クラスに対しても分析が適用可能である。
• 証明により、$O(m \cdot \rho_{+}(1)/\rho_{-}(s) \cdot \ln(2\mu))$ 回の反復後に、推定値と真の信号との間の 2-ノルム誤差が、信号の尾部エネルギーに比例する項で有界であることが示された。
• 重要な不等式 $\sum_{i=2^{L-1}}^{m}\bar{x}_i^2 > \mu^{-1} \sum_{i=2^L}^{m}\bar{x}_i^2$ により、反復間での残差誤差が十分に速く減少することが保証される。
• 最終的な 2-ノルム誤差の境界が $\sum_{i=2^{L-1}}^{m}\bar{x}_i^2$ よりも小さいことが示され、これは推定のサポートが最終的に真の信号の最大係数を捉えることを意味する。