[論文レビュー] A Sharp Restricted Isometry Constant Bound of Orthogonal Matching Pursuit

Qun Mo|arXiv (Cornell University)|Jan 8, 2015

Sparse and Compressive Sensing Techniques参考文献 14被引用数 41

ひとこと要約

本稿は、直交匹配 Pursuit (OMP) が s スパース信号を s 回の反復で正確に回復するための鋭い十分条件を確立する。測定行列 A の制限等長定数 (RIC) が δ_{s+1}(A) < 1/√(s+1) を満たすならば、OMP は成功する。この境界はタイトであり、δ_{s+1}(A) = 1/√(s+1) となる行列を構築し、その場合に OMP が失敗することを示しており、既知の十分条件と必要条件の間のギャップを閉じている。

ABSTRACT

We shall show that if the restricted isometry constant (RIC) $δ_{s+1}(A)$ of the measurement matrix $A$ satisfies $$ δ_{s+1}(A) &lt; \frac{1}{\sqrt{s + 1}}, $$ then the greedy algorithm Orthogonal Matching Pursuit(OMP) will succeed. That is, OMP can recover every $s$-sparse signal $x$ in $s$ iterations from $b = Ax$. Moreover, we shall show the upper bound of RIC is sharp in the following sense. For any given $s \in \N$, we shall construct a matrix $A$ with the RIC $$ δ_{s+1}(A) = \frac{1}{\sqrt{s + 1}} $$ such that OMP may not recover some $s$-sparse signal $x$ in $s$ iterations.

研究の動機と目的

• OMP が s 回の反復で s スパース信号を正確に回復するための既知の十分条件と必要条件のギャップを埋めること。
• OMP の成功を保証する制限等長定数 (RIC) δ_{s+1}(A) の鋭い上界を確立すること。
• δ_{s+1}(A) < 1/√(s+1) が最適であることを、δ_{s+1}(A) = 1/√(s+1) かつ OMP が特定の s スパース信号を s 回の反復で回復できない行列を構築することで証明すること。
• RIP フレームワーク下での圧縮センシングにおける OMP の性能限界の理論的基盤を提供すること。

提案手法

• δ_{s+1}(A) < 1/√(s+1) ならば、x のサポートに属する k についての最大相関 |⟨Ax, Ae_k⟩| が、サポート外の k よりも大きくなることを証明し、OMP が各反復で正しいインデックスを選択できることを保証する。
• t = −(√(s+1)−1)/√s を用いて、||A(x + t e_k)||² − ||A(t²x − t e_k)||² にかかわる重要な恒等式を用い、RIC と相関の大きさを関連付ける。
• RIP の定義を適用して、パrameter t と δ_{s+1}(A) を用いたノルム差の下界を導出する。
• A^T A の固有値解析を用いて、δ_{s+1}(A) = 1/√(s+1) を達成する、特定の (s+1)×(s+1) 行列 A を構築する。
• 明示的な構築により、この行列と最初の s 成分が等しい s スパース信号 x = (1,1,…,1,0)^T に対して、A のすべての s+1 列が Ax と等しい相関を持つことを示し、OMP が最初の反復で誤ったインデックスを選択する可能性があることを示す。
• 数学的帰納法と直交射影の性質を用いて、正しいサポートが初期に選択されない場合、OMP が s 回の反復で x を回復できないことを示す。

実験結果

リサーチクエスチョン

• RQ1 s 回の反復で任意の s スパース信号を正確に回復するための制限等長定数 δ_{s+1}(A) の最もタイトな上界は何か？
• RQ2 条件 δ_{s+1}(A) < 1/√(s+1) は最適であるか、それ以上改善可能か？
• RQ3 δ_{s+1}(A) = 1/√(s+1) だが OMP が s 回の反復で特定の s スパース信号を回復できない行列を構築可能か？
• RQ4 本稿で提示された界は、先行研究（例：δ_{s+1}(A) < 1/(√s + 1) や δ_s(A) + √s δ_{s+1}(A) < 1）と比較してどのように異なるか？

主な発見

• 条件 δ_{s+1}(A) < 1/√(s+1) は、OMP が s 回の反復で任意の s スパース信号を正確に回復するのに十分である。
• 界 δ_{s+1}(A) < 1/√(s+1) は鋭い。δ_{s+1}(A) = 1/√(s+1) となる行列が存在し、その場合に OMP は特定の s スパース信号を s 回の反復で回復できない。
• 構築された行列 A は (s+1)×(s+1) の次元を持ち、s 列は √(s/(s+1)) でスケーリングされ、1 つの追加列はすべての成分が 1/√(s(s+1)) である。この行列は、既知の固有値を持つ構造化行列である。
• 構築された信号 x = (1,1,…,1,0)^T に対して、A のすべての s+1 列が等しい相関 |⟨Ax, Ae_k⟩| を示し、OMP が最初の反復で誤ったインデックスを選択する可能性がある。
• 構築された行列の RIC は正確に δ_{s+1}(A) = 1/√(s+1) である。A^T A の固有値を計算することで、1±1/√(s+1) および s/(s+1) が得られ、確認された。
• 証明は、摂動された信号に A を適用したノルム差に関わる新しい恒等式に依存しており、この恒等式により RIC と OMP 選択に必要な相関の優位性を結びつける。