[論文レビュー] Accurate Prediction of Phase Transitions in Compressed Sensing via a Connection to Minimax Denoising

David L. Donoho, Iain M. Johnstone+1 more|arXiv (Cornell University)|Nov 4, 2011

Sparse and Compressive Sensing Techniques被引用数 13

ひとこと要約

本論文は、圧縮センシングにおける相転移とノイズ除去演算子のミニマックス平均二乗誤差（MSE）の間の明確な関係を確立し、近似的メッセージパッシング（AMP）アルゴリズムの相転移曲線が、関連するノイズ除去問題における対応するノイズ除去器のミニマックスMSEに正確に等しいことを示している。主な貢献は一般化された公式 δ = M(ε|denoiser) であり、δ はアンダーサンプリングレート、ε はスパースネスの割合、M はノイズ除去器のミニマックスMSEを表す。この公式は、ソフトスレッショーニング、ファームシュリンクージョン、ミニマックス、ブロックスレッショーニング、単調回帰、全変動を含むスカラおよび非スカラのノイズ除去器に対しても有効である。

ABSTRACT

Compressed sensing posits that, within limits, one can undersample a sparse signal and yet reconstruct it accurately. Knowing the precise limits to such undersampling is important both for theory and practice. We present a formula that characterizes the allowed undersampling of generalized sparse objects. The formula applies to Approximate Message Passing (AMP) algorithms for compressed sensing, which are here generalized to employ denoising operators besides the traditional scalar soft thresholding denoiser. This paper gives several examples including scalar denoisers not derived from convex penalization -- the firm shrinkage nonlinearity and the minimax nonlinearity -- and also nonscalar denoisers -- block thresholding, monotone regression, and total variation minimization. Let the variables eps = k/N and delta = n/N denote the generalized sparsity and undersampling fractions for sampling the k-generalized-sparse N-vector x_0 according to y=Ax_0. Here A is an n\ imes N measurement matrix whose entries are iid standard Gaussian. The formula states that the phase transition curve delta = delta(eps) separating successful from unsuccessful reconstruction of x_0 by AMP is given by: delta = M(eps| Denoiser), where M(eps| Denoiser) denotes the per-coordinate minimax mean squared error (MSE) of the specified, optimally-tuned denoiser in the directly observed problem y = x + z. In short, the phase transition of a noiseless undersampling problem is identical to the minimax MSE in a denoising problem.

研究の動機と目的

• 一般化されたスパース信号に対するアンダーサンプリング下での圧縮センシングにおける相転移限界を明確に特徴づけること。
• AMPアルゴリズムの相転移と関連するノイズ除去問題におけるノイズ除去演算子のミニマックスMSEとの理論的関係を確立すること。
• 従来のソフトスレッショーニングを超えて、ファームシュリンクージョン、ミニマックス、ブロックスレッショーニング、単調回帰、全変動などの非凸的および構造的ノイズ除去器を含むAMPの一般化を図ること。
• 状態発展とノイズ除去器固有のミニマックスリスクを用いた、圧縮センシングにおける復元性能予測の統一的フレームワークを提供すること。

提案手法

• ノイズ観測モデル y = x + z におけるノイズ除去器のミニマックスMSEにリンクする一般化された公式 δ = M(ε|denoiser) を導出する。
• 任意のノイズ除去演算子を用いたAMPにおける相転移公式の正当化に、状態発展理論を厳密に適用する。
• スティーンの不偏リスク推定（SURE）および非心カイ二乗分布の性質を用いて、さまざまなノイズ除去器のミニマックスMSEを計算する。
• ファームシュリンクージョン（スカラ）およびブロック、単調回帰、全変動（非スカラ）を含む多様なノイズ除去器に対して、公式の数値的妥当性を検証する。
• 状態発展の漸近的解析と収束結果を用いて、相転移予測の有効性を確立する。
• ノイズ除去器のミニマックスリスクが、AMPがスパース信号を回復できるかどうかの臨界アンダーサンプリングレート δ を直接決定することを示す。

実験結果

リサーチクエスチョン

• RQ1 ノイズ除去演算子のミニマックス平均二乗誤差を用いて、圧縮センシングにおける相転移を予測できるか？
• RQ2 特定のノイズ除去器を用いたAMPの相転移が、ノイズ除去問題におけるそのノイズ除去器のミニマックスMSEに正確に一致するか？
• RQ3 公式 δ = M(ε|denoiser) は、標準的なソフトスレッショーニングを越えて、非凸的および構造的ノイズ除去器（ファームシュリンクージョン、ミニマックス、ブロックスレッショーニング、単調回帰、全変動）にどのように一般化されるか？
• RQ4 状態発展は、相転移とミニマックスノイズ除去リスクの等価性をどのように正当化するか？
• RQ5 スカラ、ブロック、単調、全変動などの異なるノイズ除去戦略は、圧縮センシングにおける臨界アンダーサンプリングレートにどのように影響を与えるか？

主な発見

• 圧縮センシングにおけるAMPの相転移曲線は、アルゴリズムで使用されるノイズ除去器のミニマックス平均二乗誤差（MSE）に正確に等しく、δ = M(ε|denoiser) を確立している。
• ミニマックスノイズ除去器において、信号強度がゼロのときのミニマックスMSE（R(0)）は、次元 d が大きくなるにつれて 1 に収束し、大規模な d に対しては約 0.752/√d の補正項を伴う。
• ジェイムズ＝スティーンノイズ除去器のリスク関数 R(μ) は、‖μ‖² に関して厳密に単調増加であり、これは状態発展写像の星型性を保証し、収束を支援する。
• 公式 δ = M(ε|denoiser) は、ファームシュリンクージョン、ミニマックス、ブロックソフトスレッショーニング、単調回帰、全変動を含む広範なノイズ除去器に対して成立し、その広範な適用可能性を検証している。
• 数値結果により、すべてのテストされたノイズ除去器において理論的予測と優れた一致が確認され、予測された相転移と実験的相転移の一致が裏付けられた。
• 相転移とミニマックスノイズ除去リスクの関係は、広範なシミュレーションを実施せずに、圧縮センシングにおける復元限界を予測する強力な新ツールを提供する。