[論文レビュー] Sharp MSE Bounds for Proximal Denoising

Samet Oymak, Babak Hassibi|arXiv (Cornell University)|May 13, 2013

Sparse and Compressive Sensing Techniques参考文献 71被引用数 19

ひとこと要約

この論文は、凸正則化を用いたプロキシマルノイズ除去における正規化平均二乗誤差（NMSE）の鋭い正確な上限を提供し、最悪ケースのNMSEが真の信号における正則化子のスケーリングされた劣微分への標準正規ベクトルの距離によって決定されることを示している。主な結果は、ノイズ除去性能と正則化子の劣微分の凸幾何学的性質との間の幾何的関係を確立しており、一般化LASSOや高次元推定における相転移現象に影響を与える。

ABSTRACT

Denoising has to do with estimating a signal $x_0$ from its noisy observations $y=x_0+z$. In this paper, we focus on the "structured denoising problem", where the signal $x_0$ possesses a certain structure and $z$ has independent normally distributed entries with mean zero and variance $σ^2$. We employ a structure-inducing convex function $f(\cdot)$ and solve $\min_x\{\frac{1}{2}\|y-x\|_2^2+σλf(x)\}$ to estimate $x_0$, for some $λ>0$. Common choices for $f(\cdot)$ include the $\ell_1$ norm for sparse vectors, the $\ell_1-\ell_2$ norm for block-sparse signals and the nuclear norm for low-rank matrices. The metric we use to evaluate the performance of an estimate $x^*$ is the normalized mean-squared-error $ ext{NMSE}(σ)=\frac{\mathbb{E}\|x^*-x_0\|_2^2}{σ^2}$. We show that NMSE is maximized as $σ ightarrow 0$ and we find the \emph{exact} worst case NMSE, which has a simple geometric interpretation: the mean-squared-distance of a standard normal vector to the $λ$-scaled subdifferential $λ\partial f(x_0)$. When $λ$ is optimally tuned to minimize the worst-case NMSE, our results can be related to the constrained denoising problem $\min_{f(x)\leq f(x_0)}\{\|y-x\|_2\}$. The paper also connects these results to the generalized LASSO problem, in which, one solves $\min_{f(x)\leq f(x_0)}\{\|y-Ax\|_2\}$ to estimate $x_0$ from noisy linear observations $y=Ax_0+z$. We show that certain properties of the LASSO problem are closely related to the denoising problem. In particular, we characterize the normalized LASSO cost and show that it exhibits a "phase transition" as a function of number of observations. Our results are significant in two ways. First, we find a simple formula for the performance of a general convex estimator. Secondly, we establish a connection between the denoising and linear inverse problems.

研究の動機と目的

• i.i.d. ガウスノイズ下での凸ノイズ除去推定子における正規化平均二乗誤差（NMSE）の正確で鋭い上界を導出すること。
• ノイズ分散 σ² が 0 に近づく極限における最悪ケースのNMSEを、正則化子の劣微分の幾何的性質と結びつけること。
• プロキシマルノイズ除去の性能と一般化LASSOや圧縮センシングで観察される相転移行動との間の関係を確立すること。
• ノイズ除去と線形逆問題の両者を統一的に扱う枠組みを提供し、両者を支配する同一の幾何的量（劣微分コーンの次元）を示すこと。
• ℓ₁最小化に限らない、任意の凸構造誘導正則化子（例：核ノルム、グループLASSOなど）に適用可能な枠組みを提供すること。

提案手法

• プロキシマルノイズ除去問題を、二乗データ適合項と凸正則化項の和の最小化として定式化：minₓ {½‖y−x‖²₂ + σλf(x)} かつ y = x₀ + z。
• 正規化MSE（NMSE）を主な指標として採用：E[‖x*−x₀‖²₂]/σ² として定義し、σ→0 のときの最悪ケース値を導出。
• 最悪ケースのNMSEが、標準正規ベクトルから λ 倍された劣微分 λ∂f(x₀) への期待二乗距離に等しいことを示す。
• 最適な λ のチューニング下では、最悪ケースのNMSEが劣微分コーン cone(∂f(x₀)) の次元 D(cone(∂f(x₀))) に等しくなることを確立。
• Moreau や最近の相転移理論の結果を活用し、凸幾何学と高次元確率の道具を用いて正確な式を導出。
• 同様の幾何的量が一般化LASSO問題におけるノイズロバスト性とコスト関数の振る舞いを支配することを示し、ノイズ除去結果と結びつける。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. ガウスノイズ下で凸正則化子 f(·) を用いたプロキシマルノイズ除去における正確な最悪ケース正規化平均二乗誤差（NMSE）は何か？
• RQ2 プロキシマルノイズ除去推定子の性能は、真の信号 x₀ における劣微分 ∂f(x₀) の幾何的性質にどのように依存するか？
• RQ3 一般化LASSO問題の性能は、ノイズ除去性能を支配する同じ幾何的量を用いて予測可能か？
• RQ4 測定数 m の関数として、一般化LASSOコスト関数の相転移挙動は何か？
• RQ5 最悪ケースのNMSEはガウスノイズ以外の分布仮定のもとでも不変か、それともノイズの尾部挙動に依存するか？

主な発見

• σ→0 のときの最悪ケースNMSEは、正確に標準正規ベクトルから λ 倍された劣微分 λ∂f(x₀) への期待二乗距離に等しくなる。これは f と x₀ に依存する幾何的量である。
• λ が最適にチューニングされた場合、最悪ケースNMSEは劣微分コーン cone(∂f(x₀)) の次元 D(cone(∂f(x₀))) に等しくなる。これは信号構造の内因的複雑性を捉える。
• 一般化LASSOコスト関数は鋭い相転移を示す：m < D(cone(∂f(x₀))) のときコストはゼロ（ノイズロバスト性なし）、m > D(cone(∂f(x₀))) のときコストはおおよそ m − D(cone(∂f(x₀))) に漸近する。
• 同じ幾何的量 D(cone(∂f(x₀))) がノイズ除去性能と線形逆問題における回復の相転移を支配するため、両者の間の深い関係を確立する。
• 結果は任意の凸正則化子 f(·) に一般化可能であり、ℓ₁ に限らず、核ノルムやグループLASSOなどにも適用可能である。
• 非ガウスノイズの場合、NMSE境界は正確に成り立たないが、ノイズをランダムユニタリ回転した場合、弱いサブガウス性仮定のもとで最悪ケースNMSEは D(cone(∂f(x₀))) に収束する。