[論文レビュー] Asymptotically Exact Denoising in Relation to Compressed Sensing

Samet Oymak, Babak Hassibi|arXiv (Cornell University)|May 13, 2013

Sparse and Compressive Sensing Techniques参考文献 49被引用数 6

ひとこと要約

本稿は、凸正則化による漸近的に正確なノイズ除去と圧縮センシングのフェーズ遷移の間の明確な関係を確立する。構造誘導関数 f を用いることで、i.i.d. ガウスノイズ下で、最適推定器の正規化平均二乗誤差（MSE）が、x₀ における f の劣微分から導かれるフェーズ遷移閾値 ∆f(x₀) と一致することを示している。

ABSTRACT

We consider the denoising problem where we wish to estimate a structured signal x0 from corrupted observations y = x0 + z. Typical structures include sparsity, block sparsity and low rankness. We use a structure inducing convex function f and solve minx 1 2 ‖y−x‖22 +λf(x) to estimate x0. For example, f(·) is the `1 norm for sparse vectors, `1 − `2 norm for block-sparse signals and it is the nuclear norm for low rank matrices. When the noise vector z is i.i.d. Gaussian, we show that the normalized estimation error (MSE) of the optimally tuned problem coincides with the compressed sensing phase transitions, i.e., the number ∆f (x0) so that one needs m> ∆f (x0) compressed observations Ax0 ∈ Rm to recover x0 by solving minAx=Ax0 f(x). ∆f (x0) can be given as an explicit formula based on the subdifferential of f(·) at x0. We then connect our results to the generalized LASSO problem in which we have m noisy compressed observations y = Ax0 + z ∈ Rm and solve minf(x)≤f(x0) ‖y−Ax‖22. We show that, certain properties of

研究の動機と目的

• 凸正則化によるノイズ除去と圧縮センシングのフェーズ遷移の間の理論的リンクを確立すること。
• ノイズ除去における正規化平均二乗誤差（MSE）が、圧縮センシングのフェーズ遷移閾値 ∆f(x₀) に等しいことを特徴づけること。
• 真の信号 x₀ における構造誘導関数 f の劣微分に基づいて、∆f(x₀) の明示的公式を導出すること。
• 圧縮・ノイズのある観測に対する一般化LASSO問題へ結果を拡張すること。
• ノイズ除去における推定誤差が、圧縮センシングにおける正確な復元に必要な最小測定数と一致することを示すこと。

提案手法

• ノイズ除去問題を凸最適化として定式化：最小化 ½‖y−x‖²₂ + λf(x)，ここで y = x₀ + z で z は i.i.d. ガウスノイズ。
• 構造誘導関数 f を用い、スパarsity には ℓ¹ 範囲、ブロックスパarsity には ℓ¹−ℓ² 範囲、低ランク行列にはノルムを用いる。
• 最適推定器の正規化MSEを導出し、これが圧縮センシングのフェーズ遷移閾値 ∆f(x₀) に等しいことを示す。
• f の x₀ における劣微分を用いて ∆f(x₀) を明示的に表現し、f の幾何的性質と統計的推定性能を結びつける。
• m 個のノイズを含む圧縮観測 y = Ax₀ + z に対する一般化LASSO問題を分析：min‖y−Ax‖²₂ を f(x) ≤ f(x₀) の制約のもとで解く。
• この設定における推定誤差が、ノイズ除去の場合と同一のフェーズ遷移行動を示すことを確立する。

実験結果

リサーチクエスチョン

• RQ1 凸ノイズ除去における正規化平均二乗誤差は、圧縮センシングのフェーズ遷移閾値によって正確に特徴づけられるか？
• RQ2 構造誘導関数 f の x₀ における劣微分を用いて、閾値 ∆f(x₀) の明示的公式は何か？
• RQ3 一般化LASSO推定器の性能は、圧縮センシングのフェーズ遷移行動とどのように関係するか？
• RQ4 ノイズ除去問題は、圧縮センシングにおける正確な復元に必要な最小測定数をどの程度反映しているか？
• RQ5 最適な正則化パラメータ λ のチューニングが、ノイズ除去設定において漸近的に正確な回復をもたらす条件は何か？

主な発見

• 最適にチューニングされた凸ノイズ除去推定器の正規化平均二乗誤差（MSE）は、正確に圧縮センシングのフェーズ遷移閾値 ∆f(x₀) に一致する。
• 閾値 ∆f(x₀) は、真の信号 x₀ における構造誘導関数 f の劣微分によって明示的に決定される。
• スパース信号の場合、∆f(x₀) は x₀ における ℓ¹ 範囲の劣微分に対応し、推定誤差がスパarsity構造と関連づけられる。
• ブロックスパース信号の場合、ℓ¹−ℓ² 範囲は信号のブロック構造を反映するフェーズ遷移閾値を誘導する。
• 低ランク行列の場合、ノルムは、正確な復元に必要な最小測定数を支配する閾値 ∆f(x₀) をもたらす。
• 一般化LASSO問題は、同じフェーズ遷移行動を継承しており、圧縮センシングの復元限界が、ノイズのある圧縮観測における推定誤差をも支配することを示している。