[論文レビュー] Orthogonal Matching Pursuit with Noisy and Missing Data: Low and High Dimensional Results

Yudong Chen, Constantine Caramanis|arXiv (Cornell University)|Jun 5, 2012

Sparse and Compressive Sensing Techniques参考文献 15被引用数 11

ひとこと要約

本稿では、ノイズあり・欠損ありの共変量下でのスパース回帰のための、新しい直交一致 Pursuit (OMP) に基づくアルゴリズムを提案する。ノイズ統計の事前知識を必要とせず、高次元設定でも理論的に正確なサポート回復を達成する。既存手法よりも高次元および低次元の両領域で性能を向上させ、共変量行列の推定を回避し、サポート同定後に安定な低次元問題に還元する。

ABSTRACT

Many models for sparse regression typically assume that the covariates are known completely, and without noise. Particularly in high-dimensional applications, this is often not the case. This paper develops efficient OMP-like algorithms to deal with precisely this setting. Our algorithms are as efficient as OMP, and improve on the best-known results for missing and noisy data in regression, both in the high-dimensional setting where we seek to recover a sparse vector from only a few measurements, and in the classical low-dimensional setting where we recover an unstructured regressor. In the high-dimensional setting, our support-recovery algorithm requires no knowledge of even the statistics of the noise. Along the way, we also obtain improved performance guarantees for OMP for the standard sparse regression problem with Gaussian noise.

研究の動機と目的

• 共変量がノイズや欠損によって汚染される状況におけるスパース回帰の課題に対処すること。これは、高次元データ収集において一般的な問題である。
• OMP の速度を維持しつつ、ノイズや不完全な測定値に対してより高いロバスト性を示す、計算的に効率的なアルゴリズムを開発すること。
• ノイズ統計の知識を必要としない高次元設定におけるサポート回復の理論的保証を提供すること。
• ガウスノイズを伴う標準的なスパース回帰における OMP の性能バウンドを改善すること。
• サポート同定後に高次元問題を安定な低次元問題に還元することにより、計算的および統計的安定性を向上させること。

提案手法

• ノイズあり・欠損ありの共変量を用いた相関最大化により、繰り返しスパース信号のサポートを同定する OMP に類似したグリーディアルゴリズムを提案する。
• 高次元では特異的または正定値でない可能性があるため、共変量行列 $X^ op X$ の推定を回避する。
• サブガウス型濃度不等式を用いて、確率的行列とベクトル間の内積の乖離を制限する。
• カバー近似と行列の偏差バウンドを用いて、ノイズ付きデータ行列を含む双線形形式の本質的上限を制御する。
• 正しいサポートが同定された後、高次元スパース回復問題を低次元回帰問題に還元する。
• サブガウス型確率的行列に関する確率的バウンドを通じて理論的保証を提供し、やや厳しい条件下でも高確率でのサポート回復を保証する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ統計の知識を必要とせず、ノイズあり・欠損ありの共変量に対しても耐性を示す、計算的に効率的なスパース回帰アルゴリズムを設計できるか？
• RQ2 汚染された共変量を伴う高次元スパース回帰において、高確率でのサポート回復を保証する条件は何か？
• RQ3 統計的性能と計算的安定性の観点から、提案手法は修正 Lasso や Dantzig セレクタの手法と比べてどのように差をつけるか？
• RQ4 測定の汚染に対応できるように標準 OMP を適応させることで、ガウスノイズ下での性能保証をより良くできるか？
• RQ5 共変量行列の推定を回避することで、高次元設定における安定性と正確性が向上するか？

主な発見

• 提案手法は、ノイズ共分散行列の知識を必要とせず、高次元設定でも高確率でのサポート回復を達成する。これは、先行研究と比較して顕著な利点である。
• 標準的なスパース回帰における OMP に対して、$ε$-誤差バウンドを改善し、既存の理論的保証を強化する。
• 高次元設定において $n = k\log p$ 個のサンプルが得られる場合、サポート同定後に問題が低次元回帰問題に還元され、計算的および統計的安定性が保証される。
• 理論的解析により、サブガウス型ノイズ仮定下で本手法の性能がミニマックス的に最適であることが示され、文献で知られている最良のバウンドと一致する。
• 標準 OMP と同等の計算効率を維持しつつ、凸最適化やノイズ共分散推定に依存する手法よりも顕著に優れた性能を示す。
• 実験結果により、汚染されたデータでは標準 Lasso や OMP が失敗する一方、本手法は強固な性能を維持することが確認され、そのロバスト性が裏付けられる。