[論文レビュー] RIP-Based Near-Oracle Performance Guarantees for Subspace-Pursuit, CoSaMP, and Iterative Hard-Thresholding

Raja Giryes, Michael Elad|arXiv (Cornell University)|May 25, 2010

Sparse and Compressive Sensing Techniques参考文献 30被引用数 12

ひとこと要約

この論文は、ノイズありスパース信号復元の文脈において、CoSaMP、Subspace Pursuit (SP)、およびイテレーティブ・ハード・スレッディング (IHT) アルゴリズムに対して、RIPに基づく近似オラクル性能保証を確立する。ランダムな白色ガウスノイズ下での平均二乗誤差を分析することで、これらのグリーディ・プルーリング手法が、Basis Pursuit や Dantzig Selector といったリラクゼーションベースの手法と同等の誤差境界を達成することを示している。各アルゴリズム固有の定数およびスパース性制約を含む。

ABSTRACT

This paper presents an average case denoising performance analysis for the Subspace Pursuit (SP), the CoSaMP and the IHT algorithms. This analysis considers the recovery of a noisy signal, with the assumptions that (i) it is corrupted by an additive random white Gaussian noise; and (ii) it has a K-sparse representation with respect to a known dictionary D. The proposed analysis is based on the Restricted-Isometry-Property (RIP), establishing a near-oracle performance guarantee for each of these algorithms. The results for the three algorithms differ in the bounds' constants and in the cardinality requirement (the upper bound on $K$ for which the claim is true). Similar RIP-based analysis was carried out previously for the Dantzig Selector (DS) and the Basis Pursuit (BP). Past work also considered a mutual-coherence-based analysis of the denoising performance of the DS, BP, the Orthogonal Matching Pursuit (OMP) and the thresholding algorithms. This work differs from the above as it addresses a different set of algorithms. Also, despite the fact that SP, CoSaMP, and IHT are greedy-like methods, the performance guarantees developed in this work resemble those obtained for the relaxation-based methods (DS and BP), suggesting that the performance is independent of the sparse representation entries contrast and magnitude.

研究の動機と目的

• 加法的白色ガウスノイズ下における CoSaMP, SP, IHT の平均的ノイズ除去性能分析を提供すること。
• 制限付き等長性性質 (RIP) を用いた近似オラクル性能保証を確立し、Basis Pursuit や Dantzig Selector といったリラクゼーションベースの手法の先行結果を拡張すること。
• グリーディ・プルーリングアルゴリズムが、スパース信号の大きさや非ゼロエントリのコントラストに依存しない形で、リラクゼーションベースの手法と同等の性能境界を達成することを示すこと。
• 誤差境界をRIP定数およびノイズ感度の観点から定量的に評価し、ノイズが辞書の列に射影されたものの依存関係を明示すること。

提案手法

• 真のスパース信号とノイズの関数として推定信号の平均二乗誤差 (MSE) を分析し、ノイズ分布の期待値をとる。
• スパースベクトル上での辞書の等長性からのずれを制御するため、パrameter $\delta_{4K}$ を用いた制限付き等長性性質 (RIP) を用いる。
• 真の信号のエネルギーが推定サポート外にある成分と、ノイズが辞書に射影されたものの成分に誤差残差を分解することで誤差境界を導出する。
• 三角不等号およびRIPに基づく行列ノルムの境界を用い、反復 $\ell$ における残差誤差を直前の反復の残差とノイズ項に関連付ける。
• CoSaMP の元論文における補題 4.5 および補題 4.3 を用いて、反復間での残差誤差の増大を制限する。
• RIP定数 $\delta_{4K}$ および $\|\mathbf{D}_{T_\mathbf{e}}^* \mathbf{e}\|_2$ に依存する残差誤差 $\|\mathbf{r}^{\ell}\|_2$ の再帰的境界を確立する。

実験結果

リサーチクエスチョン

• RQ1 ランダムな白色ガウスノイズ下において、CoSaMP や SP や IHT といったグリーディ・プルーリング手法に対して、RIPに基づく性能保証を導出可能か？
• RQ2 これらのグリーディ手法の誤差境界は、Basis Pursuit や Dantzig Selector といったリラクゼーションベースの手法のものと比べてどのように異なるか？
• RQ3 復元誤差は、RIP定数 $\delta_{4K}$ およびノイズ射影 $\|\mathbf{D}_{T_\mathbf{e}}^* \mathbf{e}\|_2$ にどのように依存するか？
• RQ4 グリーディアルゴリズムの性能保証は、スパース信号の非ゼロエントリの大きさやコントラストに依存するか？
• RQ5 導出された保証が成り立つ最大のスパarsityレベル $K$ は何か？また、CoSaMP, SP, IHT の間でどのように異なるか？

主な発見

• CoSaMP アルゴリズムは、平均二乗誤差境界 $\|\mathbf{x} - \hat{\mathbf{x}}_{\text{CoSaMP}}^{\ell}\|_2 \leq \frac{4\delta_{4K}}{(1 - \delta_{4K})^2}\|\mathbf{r}^{\ell-1}\|_2 + \frac{14 - 6\delta_{4K}}{(1 - \delta_{4K})^2}\|\mathbf{D}_{T_\mathbf{e}}^* \mathbf{e}\|_2$ を達成し、近似オラクル性能保証を確立する。
• SP および IHT の性能境界も同様の構造で導出され、定数および RIP 条件が成り立つための $K$ の上限にのみ差異がある。
• 誤差境界は、スパース信号の非ゼロエントリの大きさやコントラストに依存せず、RIP定数 $\delta_{4K}$ およびノイズが辞書の列に射影されたものにのみ依存する。
• 分析により、グリーディ・プルーリング手法が、反復的かつグリーディな性質を持つにもかかわらず、Basis Pursuit や Dantzig Selector といったリラクゼーションベースの手法と同等の性能を達成することが示された。
• 導出された境界は $\delta_{4K} < 1$ の仮定のもとで有効であり、IHT は CoSaMP や SP よりもスパース性の要件が厳しくなる。
• 残差誤差は反復に伴い幾何的に減少し、境界が $\|\mathbf{r}^{\ell-1}\|_2$ に依存するため、収束速度は $\delta_{4K}$ によって決定される。