[論文レビュー] Optimal Phase Transitions in Compressed Sensing

Yihong Wu, Sergio Verdú|arXiv (Cornell University)|Nov 29, 2011

Sparse and Compressive Sensing Techniques参考文献 58被引用数 12

ひとこと要約

この論文は、情報理論的枠組みを用いて、i.i.d. 信号分布に対する圧縮センシングにおける最適な相転移閾値を確立する。最適非線形および線形符号化器を介した測定レートと再構成忠実度の根本的トレードオフを導出し、ガウス分布センシング行列が最適非線形符号化と同一の相転移閾値を達成することを示し、MMSE推定とRényi情報次元を用いて弱ノイズ領域におけるレプリカ法の結果を厳密に裏付ける。

ABSTRACT

Compressed sensing deals with efficient recovery of analog signals from linear encodings. This paper presents a statistical study of compressed sensing by modeling the input signal as an i.i.d. process with known distribution. Three classes of encoders are considered, namely optimal nonlinear, optimal linear and random linear encoders. Focusing on optimal decoders, we investigate the fundamental tradeoff between measurement rate and reconstruction fidelity gauged by error probability and noise sensitivity in the absence and presence of measurement noise, respectively. The optimal phase transition threshold is determined as a functional of the input distribution and compared to suboptimal thresholds achieved by popular reconstruction algorithms. In particular, we show that Gaussian sensing matrices incur no penalty on the phase transition threshold with respect to optimal nonlinear encoding. Our results also provide a rigorous justification of previous results based on replica heuristics in the weak-noise regime.

研究の動機と目的

• i.i.d. 信号モデルと既知の分布を想定した圧縮センシングにおける根本的相転移閾値を特定すること。
• 最適非線形、最適線形、およびランダム線形符号化器の間での性能限界を比較すること。
• ノイズなしおよびノイズありの両領域における測定レートと再構成忠実度のトレードオフを特徴付けること。
• MMSE推定とRényi情報次元を用いて、弱ノイズ極限におけるレプリカヒューリスティックな結果を厳密に検証すること。

提案手法

• 入力信号を既知の分布を持つi.i.d. プロセスとしてモデル化し、スパarsityを伴う混合モデルを含む。
• 最適復号器を分析：ノイズなしではリプシッツ連続性、ノイズありではMMSE推定器。
• Rényi情報次元とMMSE次元を用いて、入力分布の関数として相転移閾値を導出する。
• 弱ノイズ領域におけるLASSO推定器の漸近的解析を用いて、ノイズ感度限界を導出する。
• 有界収束定理とガウス分布の尾部挙動を用いて、MMSE式における誤差項を評価する。
• 正則化パrameter λ とソフトスレッショルド推定器における α における最適化の等価性を確立する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. 信号と既知の分布を持つ圧縮センシングにおいて、完全な信号再構成が可能な最適な測定レート閾値は何か？
• RQ2 最適非線形符号化の性能は、最適線形およびランダム線形符号化器と比較して、相転移の観点でどのように異なるか？
• RQ3 ガウス分布センシング行列は、最適非線形符号化と比較して、相転移閾値にペナルティを負うか？
• RQ4 弱ノイズ領域におけるLASSO推定器の漸近的ノイズ感度は何か？また、入力分布とどのように関係するか？
• RQ5 相転移に関するレプリカヒューリスティック予測は、情報理論的手法を用いて厳密に裏付けられるか？

主な発見

• 最適相転移閾値は、入力分布の関数として決定され、具体的にはRényi情報次元を介して与えられる。
• ガウス分布センシング行列は、最適非線形符号化と同一の相転移閾値を達成し、性能にペナルティを負わない。
• 混合分布 $ P = (1- ho) ho_0 + \rho P_c $ を持つi.i.d. 信号に対して、相転移閾値は $ R_{\pm}(\gamma) $ である。ここで $ \gamma $ はスパarsityパラメータである。
• 弱ノイズ領域において、LASSO推定器の漸近的ノイズ感度は $ \tilde{\xi}(X,R) = \frac{R_{\pm}(\gamma)}{R - R_{\pm}(\gamma)} $ であり、$ R > R_{\pm}(\gamma) $ の範囲で有効である。
• MMSE推定と収束定理を用いた導出により、以前のレプリカ法による結果が弱ノイズ極限で厳密に裏付けられる。
• 分布 $ X' \sim Q $ で $ Q(\{0\}) = 0 $ を満たす項は、誤差に $ o(\tau^2) $ の寄与を示し、主な寄与はノイズに影響を受ける領域から生じることを確認する。