[論文レビュー] Signal and Noise Statistics Oblivious Orthogonal Matching Pursuit

Sreejith Kallummil, Sheetal Kalyani|arXiv (Cornell University)|Jun 2, 2018

Face and Expression Recognition参考文献 1被引用数 11

ひとこと要約

本稿では、スパarsityやノイズ統計の事前知識が不要な正確なサポート回復を可能にする、直交一致追求（OMP）のための新しい停止基準であるリジッドレートスレッショルド（RRT）を提案する。RRTは、スパarsityやノイズ統計の事前知識がなくても、標準的な制限等価性条件の下で有限標本保証を達成し、標本サイズが増加するに従い漸近的にチューニングに依存しなくなる。性能は、信号とノイズの完全な事前知識を持つOMPと同等である。

ABSTRACT

Orthogonal matching pursuit (OMP) is a widely used algorithm for recovering sparse high dimensional vectors in linear regression models. The optimal performance of OMP requires extit{a priori} knowledge of either the sparsity of regression vector or noise statistics. Both these statistics are rarely known extit{a priori} and are very difficult to estimate. In this paper, we present a novel technique called residual ratio thresholding (RRT) to operate OMP without any extit{a priori} knowledge of sparsity and noise statistics and establish finite sample and large sample support recovery guarantees for the same. Both analytical results and numerical simulations in real and synthetic data sets indicate that RRT has a performance comparable to OMP with extit{a priori} knowledge of sparsity and noise statistics.

研究の動機と目的

• OMPが最適な性能を発揮するためには、スパarsityレベル $k_0$ やノイズ分散 $\sigma^2$ の事前知識が必要であるという、深刻な制限を解消すること。
• 信号やノイズ統計に依存しない、計算効率が良く、適応的なOMPの停止ルールを構築すること。
• 標準的な決定論的制約（例：制限等価性定数や相互コherence）の下で、有限標本および大標本の理論的サポート回復保証を確立すること。
• RRTが、$k_0$ や $\sigma^2$ の完全な事前知識を持つOMPと同等の性能を示すことを実証すること、特に高次元で標本数が少ない状況でも同様である。
• 計算コストが高く、変数選択に不適切な可能性がある、クロスバリデーションやその他のチューニング手法の実用的代替案を提供すること。

提案手法

• RRTは、連続する残差ノルムの比に基づく、データに適応するOMPの停止基準を導入する。
• チューニングパラメータ $\alpha$ を用い、高SNRにおけるサポート回復誤差の上限を制御する。この $\alpha $ には意味的解釈が与えられる。
• 各OMP反復で、残差比 $r_k = \|\mathbf{r}^{k}\|_2 / \|\mathbf{r}^{k-1}\|_2$ を計算し、$r_k \leq \alpha$ となる段階で停止する。
• 理論的分析により、RRTは、$k_0$ や $\sigma^2$ が既知のOMPと同様の決定論的制約（例：RICや相互コherence）の下で正確なサポート回復を保証することが示された。
• RRTは、$n \to \infty$ の下で漸近的にチューニングフリーとなる。これは、性能が $\alpha$ に頑健になることを意味する。
• 合成データおよび実データを用いた広範なシミュレーションにより、脳体重や星のデータにおける外れ値検出を含め、有効性が検証された。

実験結果

リサーチクエスチョン

• RQ1 スパarsityやノイズ分散の事前知識がなくても、正確なサポート回復を保証するOMPの停止ルールを設計できるか？
• RQ2 このような停止ルールの有限標本および高次元設定下での理論的性能保証は何か？
• RQ3 提案されたRRT手法の性能は、$k_0$ や $\sigma^2$ が既知のOMP、クロスバリデーション、その他の最先端手法と比較してどうなるか？
• RQ4 RRTのチューニングパラメータ $\alpha$ は、高SNRにおける誤差上限として意味的解釈を有するか？
• RQ5 RRTは、実世界のデータセット（例：外れ値検出）における実用的応用において、どのように性能を発揮するか？

主な発見

• RRTは、$k_0$ や $\sigma^2$ の完全な事前知識を持つOMPと同等のサポート回復性能を達成し、特に高SNRにおいて顕著である。
• 残差比スレッショルドルールにより、$k_0$ や $\sigma^2$ が既知のOMPと同様の決定論的制約（例：RICや相互コherence）の下で有限標本のサポート回復が保証される。
• RRTが正確なサポート回復を達成するための必要なSNRは、事前知識を持つOMPよりわずかに高いが、標本サイズ $n$ が増加するに従い、この差は縮小する。
• 高SNRにおいて、RRTのサポート回復誤差は $\alpha$ で上界が与えられ、$\alpha$ が高SNR誤差上限としての意味的解釈を有することを裏付けた。
• RRTは、すべてのモデルにおいてMSEおよびサポート回復誤差の両面で、クロスバリデーションやLATアルゴリズムを著しく上回り、特に低SNRおよび高コherence設定で顕著である。
• RRTは、標準的なスパース回復手法が失敗するような、相関が高い設計行列（例：$\kappa = 0.7$）においても、競争力のある性能を示し、設計行列の質が悪い状況にも頑健であることを示した。