[論文レビュー] Tuning Free Orthogonal Matching Pursuit

Sreejith Kallummil, Sheetal Kalyani|arXiv (Cornell University)|Mar 15, 2017

Sparse and Compressive Sensing Techniques参考文献 40被引用数 3

ひとこと要約

本稿では、スパース信号の回復性能が優れており、スパース性のレベル $k_0$ やノイズ分散 $σ^2$ の事前知識を必要としない、チューニングフリーな直交マッチング pursuit（TF-OMP）を提案する。残差の減衰に基づく動的停止基準を用いることで、標準的な制限等方性条件およびコherence条件のもとで、安定した性能を発揮し、シミュレーションではオラクル知識を有する OMP と同等の性能を達成する。チューニング依存性を排除した。

ABSTRACT

Orthogonal matching pursuit (OMP) is a widely used compressive sensing (CS) algorithm for recovering sparse signals in noisy linear regression models. The performance of OMP depends on its stopping criteria (SC). SC for OMP discussed in literature typically assumes knowledge of either the sparsity of the signal to be estimated $k_0$ or noise variance $σ^2$, both of which are unavailable in many practical applications. In this article we develop a modified version of OMP called tuning free OMP or TF-OMP which does not require a SC. TF-OMP is proved to accomplish successful sparse recovery under the usual assumptions on restricted isometry constants (RIC) and mutual coherence of design matrix. TF-OMP is numerically shown to deliver a highly competitive performance in comparison with OMP having extit{a priori} knowledge of $k_0$ or $σ^2$. Greedy algorithm for robust de-noising (GARD) is an OMP like algorithm proposed for efficient estimation in classical overdetermined linear regression models corrupted by sparse outliers. However, GARD requires the knowledge of inlier noise variance which is difficult to estimate. We also produce a tuning free algorithm (TF-GARD) for efficient estimation in the presence of sparse outliers by extending the operating principle of TF-OMP to GARD. TF-GARD is numerically shown to achieve a performance comparable to that of the existing implementation of GARD.

研究の動機と目的

• 圧縮センシングにおける重要な制限、すなわち OMP が最適な性能を発揮するためにはスパース性レベル $k_0$ やノイズ分散 $\sigma^2$ の事前知識が必要であるという点を解決すること。
• オラクルパラメータや交差検証のような計算コストの高い手法に依存せずに、高い回復精度を維持するチューニングフリーなアルゴリズムを開発すること。
• TF-OMP のチューニングフリーの原則を、スパース外れ値が存在する状況での効率的推定に向けた GARD に応用し、TF-GARD を提案すること。
• チューニングパラメータを必要とせず、標準的な RIC およびコherence の仮定のもとでスパース回復の理論的保証を提供すること。

提案手法

• スパース性レベル $k_0$ や $\sigma^2$ を必要としない、残差の減衰に基づくデータ駆動型停止基準を用いた、改良型 OMP（TF-OMP）を提案する。
• ノイズレベルや信号対雑音比に適応する残差ベースのしきい値ルールを採用し、$σ^2$ の明示的推定を必要としない。
• 理論的分析により、設計行列の制限等方性定数（RIC）および相互コherenceに関する標準的仮定のもとで、スパース回復が成功することを証明する。
• TF-OMP の原則を GARD に応用し、スパース外れ値の緩和に適したチューニングフリーなアルゴリズムである TF-GARD を開発する。
• 標準的な GARD とは異なり、内点ノイズ分散 $σ^2$ を必要としない、動的停止ルールを TF-GARD に採用する。
• さまざまな SNR、SIR、外れ値数を想定したシミュレーションスタディを実施し、オラクル手法や既存手法と比較して性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 OMP は $k_0$ や $\sigma^2$ の知識なしに、ほぼオラクル性能を達成できるか？
• RQ2 チューニングパラメータを回避する理論的に妥当な、データ駆動型の OMP 停止基準は何か？
• RQ3 TF-OMP のチューニングフリーの原則を、GARD のようなロバスト回帰アルゴリズムに拡張可能か？
• RQ4 さまざまな SNR およびノイズ環境において、TF-OMP の性能は $k_0$ を知っている OMP と比べてどうか？
• RQ5 外れ値の汚染が増加する条件下で、TF-GARD のロバストネスと崩壊点は GARD や M-推定量と比べてどうか？

主な発見

• TF-OMP は、$k_0$ をオラクルで知っている OMP と同等の性能を発揮し、低 SNR 環境では固定 $k_0$ を用いた標準 OMP より顕著に優れている。
• シミュレーションでは、TF-OMP はすべての SNR 水準で $k_0$ を用いた停止基準の OMP と同等の性能を示し、チューニングなしで安定性を保証している。
• TF-GARD は、$σ^2$ を知っている GARD とほぼ同等の性能を発揮し、特に高 SNR および高外れ値数の状況で顕著である。ノイズ統計を完全に無視しているにもかかわらず、その性能は著しく高い。
• TF-GARD は外れ値が多い状況でも M-推定量を上回り、より高い崩壊点と、汚染下での優れた MSE 性能を示している。
• TF-OMP の残差減衰に基づく停止ルールは、標準的な RIC およびコherence の仮定のもとで成功した回復を保証し、チューニングパラメータを一切必要としない理論的保証を提供する。
• CDR を用いた MIMO 検出において、CDR+TF-OMP は CDR より顕著に優れ、$k_0$ を知っている CDR+OMP に近い性能を達成しており、$σ^2$ が未知の実用的システムにおける有効性を裏付けている。