[論文レビュー] Small width, low distortions: quasi-isometric embeddings with quantized sub-Gaussian random projections.

Laurent Jacques|arXiv (Cornell University)|Apr 23, 2015

Sparse and Compressive Sensing Techniques参考文献 48被引用数 7

ひとこと要約

本稿では、サブガウス行列 $\boldsymbol{\Phi}$ を用いたランダム線形射影と、ジタ付き均一量子化を組み合わせることで、$\Sigma \subset \mathbb{R}^N$ の部分集合を量子化された整数格子 $\delta \mathbb{Z}^M$ に準等長埋め込みする手法を提案する。$M \geq C \epsilon^{-5} w(\mathcal{K})^2$ 測定値があれば、$\ell_2$ 距離が $\ell_1$ の歪みの範囲内で保たれ、加法的誤差は $\sim \delta\epsilon$、乗法的誤差は $\epsilon$ に従って増大する。この結果、スパースベクトルのような構造的集合に対して、安定で低歪みの埋め込みが達成される。

ABSTRACT

Under which conditions a subset $\mathcal K$ of $\mathbb R^N$ can be embedded in another one of $\delta \mathbb Z^M$ for some resolution $\delta>0$? We address this general question through the specific use of a quantized random linear mapping ${\bf A}:\mathbb R^N o \delta \mathbb Z^M$ combining a linear projection of $\mathbb R^N$ in $\mathbb R^M$ associated to a random matrix $\boldsymbol \Phi \in \mathbb R^{M imes N}$ with a uniform scalar (dithered) quantization $\mathcal Q$ of $\mathbb R^M$ in $\delta\mathbb Z^M$. The targeted embedding relates the $\ell_2$-distance of any pair of vectors in $\mathcal K$ with the $\ell_1$-distance of their respective mappings in $\delta \mathbb Z^M$, allowing for both multiplicative and additive distortions between these two quantities, i.e., describing a $\ell_2/\ell_1$-quasi-isometric embedding. We show that the sought conditions depend on the Gaussian mean width $w(\mathcal K)$ of the subset $\mathcal K$. In particular, given a symmetric sub-Gaussian distribution $\varphi$ and a precision $\epsilon > 0$, if $M \geq C \epsilon^{-5} w(\mathcal K)^2$ and if the sensing matrix $\boldsymbol \Phi$ has entries i.i.d. as $\varphi$, then, with high probability, the mapping $\bf A$ provides a $\ell_2/\ell_1$-quasi-isometry between $\mathcal K$ and its image in $\delta \mathbb Z^M$. Moreover, in this embedding, the additive distortion is of order $\delta\epsilon$ while the multiplicative one grows with $\epsilon$. For non-Gaussian random $\boldsymbol \Phi$, the multiplicative error is also impacted by the sparsity of the vectors difference, i.e., being smaller for not too sparse difference. When $\mathcal K$ is the set of bounded $K$-sparse vectors in any orthonormal basis, then only $M \geq C \epsilon^{-2} \log(c N/K\epsilon^{3/2})$ measurements suffice. Remark: all values $C,c>0$ above only depend on $\delta$ and on the distribution $\varphi$.

研究の動機と目的

• 部分集合 $\mathcal{K} \subset \mathbb{R}^N$ が制御可能な歪みで $\delta \mathbb{Z}^M$ に埋め込まれる条件を特定すること。
• サブガウス射影とジタ付き量子化を組み合わせた量子化されたランダム線形写像 $\mathbf{A} : \mathbb{R}^N \to \delta \mathbb{Z}^M$ の性能を分析すること。
• $\mathcal{K}$ 内の点間の $\ell_2$ 距離が、乗法的および加法的両方の $\ell_1$ 歪みの範囲内で保たれる条件を確立すること。
• $\mathcal{K}$ のガウス平均幅 $w(\mathcal{K})$ とベクトル差のスパarsity が埋め込みの質に与える依存関係を定量化すること。

提案手法

• 写像 $\mathbf{A}$ は $\mathbf{A}(x) = \mathcal{Q}(\boldsymbol{\Phi}x)$ として定義され、ここで $\mathcal{Q}$ は $\mathbb{R}^M$ を $\delta \mathbb{Z}^M$ にジタ付き均一量子化するものである。
• $\boldsymbol{\Phi} \in \mathbb{R}^{M \times N}$ は、対称サブガウス分布 $\varphi$ に従う独立同分布の成分を持つ。
• 歪みの境界を求めるために集中不等式を用いて、$\mathcal{K}$ 内のベクトルの $\ell_2$ ノルムと、$\delta \mathbb{Z}^M$ 内の像の $\ell_1$ ノルムの間の歪みを分析する。
• 解析により、加法的歪みは $\mathcal{O}(\delta \epsilon)$、乗法的歪みは $\mathcal{O}(\epsilon)$ であることが示され、$w(\mathcal{K})$ に依存する。
• $K$-スパースなベクトルが任意の正規直交基底に属する場合、必要な測定数は $M \geq C \epsilon^{-2} \log(c N / K \epsilon^{3/2})$ にまで減少し、スパarsity の恩恵が現れる。
• $C, c > 0$ の定数は $\delta$ と分布 $\varphi$ のみに依存し、パrameter選択に対してロバストである。

実験結果

リサーチクエスチョン

• RQ1 サブガウス射影と量子化を組み合わせた場合、部分集合 $\mathcal{K} \subset \mathbb{R}^N$ が制御可能な $\ell_2/\ell_1$ 歪みで $\delta \mathbb{Z}^M$ に埋め込まれる条件は何か？
• RQ2 ガウス平均幅 $w(\mathcal{K})$ は、安定な準等長埋め込みに必要な測定数 $M$ にどのように影響するか？
• RQ3 加法的歪みと乗法的歪みの間にはどのようなトレードオフがあり、それらは量子化解像度 $\delta$ と精度 $\epsilon$ にどのように依存するか？
• RQ4 非ガウス的設定下で、ベクトル差のスパarsity は乗法的歪みにどのように影響するか？
• RQ5 $K$-スパースなベクトルのような構造的集合に対して、埋め込み次元 $M$ は著しく減少可能か？もしそうなら、どの程度減少するか？

主な発見

• 高確率で、$M \geq C \epsilon^{-5} w(\mathcal{K})^2$ であれば、$\mathbf{A}$ は $\mathcal{K}$ を $\delta \mathbb{Z}^M$ に $\ell_2/\ell_1$-準等長埋め込みする。ここで $C$ は $\delta$ と $\varphi$ に依存する。
• 埋め込みにおける加法的歪みは $\delta \epsilon$ のオーダーであり、$\delta$ や $\epsilon$ を小さくすることで小さくできる。
• 乗法的歪みは $\epsilon$ と共に増大するが、$\boldsymbol{\Phi}$ が非ガウス的である場合、ベクトル差がよりスパースでないほど小さくなる。
• $K$-スパースなベクトルが任意の正規直交基底に属する場合、必要な測定数は $M \geq C \epsilon^{-2} \log(c N / K \epsilon^{3/2})$ にまで減少し、一般の集合と比べて顕著な改善が得られる。
• 測定数の境界に現れる定数 $C$ と $c$ は、$\delta$ とサブガウス分布 $\varphi$ のみに依存し、異なるパrameter レジームにおいてもロバストである。
• 結果は、$\boldsymbol{\Phi}$ のランダム性と量子化におけるジタのランダム性の下で高確率で成り立つため、実用的な圧縮センシングや量子化次元削減に適している。