[論文レビュー] Reconstruction and subgaussian operators

Shahar Mendelson, Alain Pajor+1 more|ArXiv.org|Jun 13, 2005

Sparse and Compressive Sensing Techniques参考文献 20被引用数 29

ひとこと要約

本稿では、$T \subset \mathbb{R}^n$ に属するベクトルを、$k \ll n$ 個の等方的サブガウスィアン測定値を用いて普遍的な確率的手法で近似する方法を提示する。任意の $y \in T$ が測定ベクトル $X_i$ に対して $\ell_2$-ノルムで近い場合、真のベクトル $v$ に対する誤差は幾何的パラメータ $r_k^*(\theta,T)$ によって制御され、良い近似が得られることを示している。また、確率的に高い確率で、ランダムな $\{-1,1\}$-ポリトープが $m \leq Ck / \alpha^4 \log(c' n/k)$ の範囲で $m$-隣接的であることを証明している。

ABSTRACT

We present a randomized method to approximate any vector $v$ from some set $T \subset \R^n$. The data one is given is the set $T$, and $k$ scalar products $(\inr{X_i,v})_{i=1}^k$, where $(X_i)_{i=1}^k$ are i.i.d. isotropic subgaussian random vectors in $\R^n$, and $k \ll n$. We show that with high probability, any $y \in T$ for which $(\inr{X_i,y})_{i=1}^k$ is close to the data vector $(\inr{X_i,v})_{i=1}^k$ will be a good approximation of $v$, and that the degree of approximation is determined by a natural geometric parameter associated with the set $T$. We also investigate a random method to identify exactly any vector which has a relatively short support using linear subgaussian measurements as above. It turns out that our analysis, when applied to $\{-1,1\}$-valued vectors with i.i.d, symmetric entries, yields new information on the geometry of faces of random $\{-1,1\}$-polytope; we show that a $k$-dimensional random $\{-1,1\}$-polytope with $n$ vertices is $m$-neighborly for very large $m\le {ck/\log (c' n/k)}$. The proofs are based on new estimates on the behavior of the empirical process $\sup_{f \in F} |k^{-1}\sum_{i=1}^k f^2(X_i) -\E f^2 |$ when $F$ is a subset of the $L_2$ sphere. The estimates are given in terms of the $γ_2$ functional with respect to the $ψ_2$ metric on $F$, and hold both in exponential probability and in expectation.

研究の動機と目的

• 任意の星型集合 $T \subset \mathbb{R}^n$ に属するベクトルを、$k \ll n$ 個の線形測定値を用いて普遍的かつロバストな近似手法を開発すること。
• 再構成誤差を、集合 $T$ の複雑さを捉える幾何的パラメータ $r_k^*(\theta,T)$ を用いて特徴づけること。
• サブガウスィアン確率的測定値を用いて、基底追跡によるスパースベクトルの正確な回復が可能となる条件を確立すること。
• 特にランダムな $\{-1,1\}$-ポリトープの幾何的構造、特にその隣接的性質を調査すること。

提案手法

• $k$ 個の i.i.d. 等方的サブガウスィアン確率的ベクトル $X_i \in \mathbb{R}^n$ を用いてスカラ測定値 $\langle X_i, v \rangle$ を得る。
• 再構成は、測定誤差の $\ell_2$-ノルム $\| (\langle X_i, y \rangle) - (\langle X_i, v \rangle) \|_2$ が小さいような任意の $y \in T$ を選択することで達成される。
• 主な誤差境界は、$F$ を $L_2$ 球の部分集合とするとき、新しい推定値 $\sup_{f \in F} \left| k^{-1} \sum_{i=1}^k f^2(X_i) - \mathbb{E} f^2 \right|$ を用いたもので導出される。
• 解析は、$F$ 上での $\psi_2$ メトリックに関する $\gamma_2$ 機能に依存し、高確率的および期待値の境界を導出する。
• この手法は $\ell_1$-最小化問題（基底追跡）に応用され、回復成功がポリトープの隣接的性質と関連づけられる。
• 幾何的パラメータ $r_k^*(\theta,T)$ は、$\rho > 0$ の下界 $\rho$ として定義され、$\rho \geq c \alpha^2 \ell_*(T \cap \rho S^{n-1}) / (\theta \sqrt{k})$ を満たすものであり、再構成誤差を制御する。

実験結果

リサーチクエスチョン

• RQ1 任意の $v \in T$ を高確率で再構成するためのサブガウスィアン測定値の最小数は何か？
• RQ2 集合 $T$ の幾何的複雑さ（$\ell_*(T)$ で測定）は再構成誤差にどのように影響するか？
• RQ3 スパースベクトル $|\text{supp}(z)| \leq m$ の基底追跡問題の解が一意になる条件は何か？
• RQ4 ランダムな $\{-1,1\}$-ポリトープが $n$ 個の頂点を持つとき、最大でどの程度の $m$ に対して $m$-隣接的となるか？
• RQ5 同じ回復保証は、$\{-1,1\}^n$ 上の一様分布のような非ガウス型サブガウスィアン測度に対しても拡張可能か？

主な発見

• 再構成誤差は、確率 $1 - \exp(-c_1 k / \alpha^4)$ 以上で、$|y - v| \leq 2 \left( \frac{1}{k} \sum_{i=1}^k (\langle X_i, v \rangle - \langle X_i, y \rangle)^2 \right)^{1/2} + r_k^*(1/2, T - T)$ を満たす。
• 任意の星型集合 $T$ に対して、誤差境界は幾何的パラメータ $r_k^*(\theta,T)$ によって支配され、これは平均幅 $\ell_*(T \cap \rho S^{n-1})$ に依存する。
• この手法はロバストである：測定値が正確に一致する必要はなく、$\ell_2$-誤差が小さいことのみを要件としており、従来の手法よりも安定性に優れる。
• $\{-1,1\}$-値をとるベクトルに対して、ランダムなポリトープ $K^+(\Gamma)$ は、$m \leq Ck / (\alpha^4 \log(c' n / k))$ の範囲で高確率で $m$-隣接的である。
• 同じ隣接的性質は $K(\Gamma)$、対称的凸包に対しても成り立ち、同じ条件下で $m$-対称的隣接的であることが示される。
• 解析により、新たな幾何的知見が得られた：$n$ 個の頂点を持つ $k$ 次元のランダムな $\{-1,1\}$-ポリトープは、$m \leq Ck / \log(c' n/k)$ の範囲で $m$-隣接的であり、従来の境界を改善する。