[論文レビュー] Simple Bounds for Noisy Linear Inverse Problems with Exact Side Information

Samet Oymak, Christos Thrampoulidis+1 more|arXiv (Cornell University)|Dec 2, 2013

Sparse and Compressive Sensing Techniques参考文献 38被引用数 16

ひとこと要約

本稿は、正確な補助情報（$ f(\mathbf{x}_0) $ または $ \|\mathbf{z}\| $）が利用可能な場合のノイズあり線形逆問題に対して、鋭い非漸近的誤差バインディングを提供する。ガウス測定のもとでは、再構成誤差は信号のスパarsity（接ベクトル錐のガウス幅を介して）に比例し、ノイズの環境次元に依存しない。これは、Lasso や SOCP に補助情報を組み込むことで、スパースベクトルのような構造的信号の推定精度を顕著に向上させる。

ABSTRACT

This paper considers the linear inverse problem where we wish to estimate a structured signal $x$ from its corrupted observations. When the problem is ill-posed, it is natural to make use of a convex function $f(\cdot)$ that exploits the structure of the signal. For example, $\ell_1$ norm can be used for sparse signals. To carry out the estimation, we consider two well-known convex programs: 1) Second order cone program (SOCP), and, 2) Lasso. Assuming Gaussian measurements, we show that, if precise information about the value $f(x)$ or the $\ell_2$-norm of the noise is available, one can do a particularly good job at estimation. In particular, the reconstruction error becomes proportional to the "sparsity" of the signal rather than the ambient dimension of the noise vector. We connect our results to existing works and provide a discussion on the relation of our results to the standard least-squares problem. Our error bounds are non-asymptotic and sharp, they apply to arbitrary convex functions and do not assume any distribution on the noise.

研究の動機と目的

• ノイズあり線形逆問題における構造的信号推定の非漸近的かつ鋭い誤差バインディングを導出すること。
• 既存の $ \ell_1 $-正則化回復（Lasso）の結果を任意の凸構造誘導関数 $ f(\cdot) $ に一般化すること。
• 推定誤差が $ \mathbf{x}_0 $ における関数の接ベクトル錐のガウス幅に依存することを示すこと、環境ノイズ次元に依存しないこと。
• 補助情報が利用可能な場合、再構成誤差がノイズ次元ではなく信号のスパarsityに比例することを確立すること。

提案手法

• Lasso に $ f(\mathbf{x}_0) $ が既知の場合と SOCP に $ \|\mathbf{z}\| $ が既知の場合の2つの凸最適化問題を定式化し、両者とも正確な補助情報を活用する。
• 推定誤差を特徴付けるために、接ベクトル錐と単位 $ \ell_2 $-球の共通部分のガウス幅 $ \omega(\mathcal{C}) $ を用いる。
• 測定集中およびガウス過程の技術を適用し、$ \omega(\mathcal{C} \cap \mathcal{B}^{n-1}) $ を用いて誤差をバインドする。ここで $ \mathcal{C} $ は $ \mathbf{x}_0 $ における接ベクトル錐である。
• $ \mathbf{A} $ が i.i.d. $ \mathcal{N}(0, 1/m) $ 要素を持つと仮定し、尾確率不等式を用いて誤差の確率的バインディングを導出する。
• ノイズ部分空間および信号部分空間への射影を用いた誤差の幾何的分解を導入し、濃度および対称性の議論により得られた項をバインドする。
• ある誤差差分項が高確率で非負であることを示す鍵となる補題を導入し、最終的なバインディングのタイトさを保証する。

実験結果

リサーチクエスチョン

• RQ1 $ f(\mathbf{x}_0) $ や $ \|\mathbf{z}\| $ に関する正確な補助情報が利用可能であっても、スパースでない、または $ \ell_1 $-構造でない信号に対しても、Lasso や SOCP の性能は顕著に向上するか？
• RQ2 環境次元ではなく接ベクトル錐のガウス幅に依存する鋭い非漸近的誤差バインディングを導出できるか？
• RQ3 これらのバインディングは、小規模な標本サイズや低スパarsityレベルに対してもタイトで正確であるか？
• RQ4 正確な補助情報の導入により、そのような知識がなければ得られない標準的な Lasso や SOCP と比較して、推定誤差はどのように低減されるか？
• RQ5 分析を $ \ell_1 $-ノルムを超えて、任意の凸関数 $ f(\cdot) $ に一般化できるか？

主な発見

• 既知の $ f(\mathbf{x}_0) $ を用いた Lasso および既知の $ \|\mathbf{z}\| $ を用いた SOCP における再構成誤差は、$ \mathcal{O}(\omega(\mathcal{C} \cap \mathcal{B}^{n-1})) $ でバインドされ、$ \mathbf{x}_0 $ における接ベクトル錐 $ \mathcal{C} $ に依存するが、環境ノイズ次元には依存しない。
• 誤差バインディングは、信号のスパarsityがガウス幅によって捉えられるようにスケーリングされ、ノイズ成分の数には依存しない。
• $ f(\cdot) = \|\cdot\|_1 $ であるスパース信号に対しては、誤差が $ \|\mathbf{z}\| $ に比例し、既知の結果と一致するが、今や鋭い定数と非漸近的保証が得られている。
• バインディングは非漸近的であり、$ 1 - \frac{5}{2}\exp(-t^2/26) $ の高確率で成立し、$ m $ や $ n $ が小さい場合でも、i.i.d. ガウス測定のもとで成立する。
• 分析により、補助情報による誤差低減が幾何的に定量可能であることが示され、$ \kappa_2 - \kappa_1 - \kappa_3 \geq 0 $ が高確率で成り立つことが分かった。
• 導出されたバインディングは鋭く、ノイズの分布に正規分布を仮定せず、サブガウス尾部の仮定のみを必要とするため、頑健で広く適用可能である。