[논문 리뷰] Small width, low distortions: quasi-isometric embeddings with quantized sub-Gaussian random projections.

Laurent Jacques|arXiv (Cornell University)|2015. 04. 23.

Sparse and Compressive Sensing Techniques참고 문헌 48인용 수 7

한 줄 요약

이 논문은 하위집합 $Σ \subset \mathbb{R}^N$ 를 랜덤 선형 투영을 통해 하위감마 분포를 가진 행렬 $\boldsymbol{\Phi}$ 를 사용하고, 이어서 딜레이터드 균일 양자화를 거친 후, 양자화된 정수 격자 $\delta \mathbb{Z}^M$ 로의 준등거리 임bedding을 제안한다. $M \geq C \epsilon^{-5} w(\mathcal{K})^2$ 측정값이 있을 경우, 임베딩은 $\ell_2$ 거리의 $\ell_1$ 왜곡을 유지하며, 덧셈 오차는 $\sim \delta\epsilon$ 수준이고, 곱셈 오차는 $\epsilon$ 에 따라 증가한다. 이로써 희소 벡터와 같은 구조적 집합에 대해 안정적이고 낮은 왜곡을 가진 임베딩을 달성한다.

ABSTRACT

Under which conditions a subset $\mathcal K$ of $\mathbb R^N$ can be embedded in another one of $\delta \mathbb Z^M$ for some resolution $\delta>0$? We address this general question through the specific use of a quantized random linear mapping ${\bf A}:\mathbb R^N o \delta \mathbb Z^M$ combining a linear projection of $\mathbb R^N$ in $\mathbb R^M$ associated to a random matrix $\boldsymbol \Phi \in \mathbb R^{M imes N}$ with a uniform scalar (dithered) quantization $\mathcal Q$ of $\mathbb R^M$ in $\delta\mathbb Z^M$. The targeted embedding relates the $\ell_2$-distance of any pair of vectors in $\mathcal K$ with the $\ell_1$-distance of their respective mappings in $\delta \mathbb Z^M$, allowing for both multiplicative and additive distortions between these two quantities, i.e., describing a $\ell_2/\ell_1$-quasi-isometric embedding. We show that the sought conditions depend on the Gaussian mean width $w(\mathcal K)$ of the subset $\mathcal K$. In particular, given a symmetric sub-Gaussian distribution $\varphi$ and a precision $\epsilon > 0$, if $M \geq C \epsilon^{-5} w(\mathcal K)^2$ and if the sensing matrix $\boldsymbol \Phi$ has entries i.i.d. as $\varphi$, then, with high probability, the mapping $\bf A$ provides a $\ell_2/\ell_1$-quasi-isometry between $\mathcal K$ and its image in $\delta \mathbb Z^M$. Moreover, in this embedding, the additive distortion is of order $\delta\epsilon$ while the multiplicative one grows with $\epsilon$. For non-Gaussian random $\boldsymbol \Phi$, the multiplicative error is also impacted by the sparsity of the vectors difference, i.e., being smaller for not too sparse difference. When $\mathcal K$ is the set of bounded $K$-sparse vectors in any orthonormal basis, then only $M \geq C \epsilon^{-2} \log(c N/K\epsilon^{3/2})$ measurements suffice. Remark: all values $C,c>0$ above only depend on $\delta$ and on the distribution $\varphi$.

연구 동기 및 목표

• 하나의 하위집합 $\mathcal{K} \subset \mathbb{R}^N$ 가 제어 가능한 왜곡을 갖는 조건을 규명하는 것.
• 하위감마 분포 투영과 딜레이터드 양자화를 조합한 양자화된 랜덤 선형 매핑 $\mathbf{A} : \mathbb{R}^N \to \delta \mathbb{Z}^M$ 의 성능을 분석하는 것.
• $\ell_2$ 거리가 $\mathcal{K}$ 내 점들 사이에서 $\ell_1$ 왜곡, 즉 곱셈 및 덧셈 왜곡을 포함해 유지되는 조건을 설정하는 것.
• 임베딩 품질이 가우시안 평균 폭 $w(\mathcal{K})$ 와 벡터 차이의 희소성에 어떻게 의존하는지 정량화하는 것.

제안 방법

• 매핑 $\mathbf{A}$ 는 $\mathbf{A}(x) = \mathcal{Q}(\boldsymbol{\Phi}x)$ 로 정의되며, 여기서 $\mathcal{Q}$ 는 $\mathbb{R}^M$ 을 $\delta \mathbb{Z}^M$ 으로의 딜레이터드 균일 양자화이다.
• 감지 행렬 $\boldsymbol{\Phi} \in \mathbb{R}^{M \times N}$ 의 원소들은 대칭 하위감마 분포 $\varphi$ 에서 독립적으로 동일하게 분포되어 있다.
• 임베딩은 농도 부등식을 통해 분석되어, $\mathcal{K}$ 내 벡터의 $\ell_2$ 노름과 $\delta \mathbb{Z}^M$ 내 그들의 상사의 $\ell_1$ 노름 간의 왜곡을 제한한다.
• 분석 결과, 덧셈 왜곡은 $\mathcal{O}(\delta \epsilon)$ 이고, 곱셈 왜곡은 $\mathcal{O}(\epsilon)$ 이며, $w(\mathcal{K})$ 에 의존한다.
• $K$-희소 벡터의 경우 임의의 정규직교 기저에서, 필요한 측정 수는 $M \geq C \epsilon^{-2} \log(c N / K \epsilon^{3/2})$ 로 감소한다. 이는 희소성의 이점을 반영한다.
• 상수 $C, c > 0$ 는 $\delta$ 와 분포 $\varphi$ 에만 의존하여, 매개변수 선택에 대한 강건성을 보장한다.

실험 결과

연구 질문

• RQ1 하나의 하위집합 $\mathcal{K} \subset \mathbb{R}^N$ 가 양자화된 랜덤 투영을 통해 제어 가능한 $\ell_2/\ell_1$ 왜곡을 갖는 조건은 무엇인가?
• RQ2 가우시안 평균 폭 $w(\mathcal{K})$ 는 안정적인 준등거리 임베딩을 위한 측정 수 $M$ 에 어떤 영향을 미치는가?
• RQ3 임베딩에서 덧셈 왜곡과 곱셈 왜곡 사이의 상충 관계는 무엇이며, 이들은 양자화 해상도 $\delta$ 와 정밀도 $\epsilon$ 에 따라 어떻게 척도화되는가?
• RQ4 벡터 차이의 희소성이 비가우시안 설정에서 곱셈 왜곡에 어떤 영향을 미치는가?
• RQ5 $K$-희소 벡터와 같은 구조적 집합의 경우 임베딩 차원 $M$ 은 어떻게 크게 줄일 수 있으며, 그 정도는 어느 정도인가?

주요 결과

• 높은 확률로, $M \geq C \epsilon^{-5} w(\mathcal{K})^2$ 일 때, 매핑 $\mathbf{A}$ 는 $\mathcal{K}$ 를 $\delta \mathbb{Z}^M$ 으로의 $\ell_2/\ell_1$-준등거리 임베딩을 제공한다. 여기서 $C$ 는 $\delta$ 와 $\varphi$ 에 따라 달라진다.
• 임베딩의 덧셈 왜곡은 $\delta \epsilon$ 수준이며, $\delta$ 나 $\epsilon$ 을 줄임으로써 작게 만들 수 있다.
• 곱셈 왜곡은 $\epsilon$ 에 따라 증가하지만, $\boldsymbol{\Phi}$ 가 비가우시안일 경우 덜 희소한 벡터 차이에 대해 감소한다.
• $K$-희소 벡터의 경우 임의의 정규직교 기저에서, 필요한 측정 수는 $M \geq C \epsilon^{-2} \log(c N / K \epsilon^{3/2})$ 로 감소한다. 이는 일반 집합에 비해 상당한 향상이다.
• 측정 수의 경계에 있는 상수 $C$ 와 $c$ 는 $\delta$ 와 하위감마 분포 $\varphi$ 에만 의존하여, 다양한 매개변수 영역에서의 강건성을 보장한다.
• 결과는 $\boldsymbol{\Phi}$ 와 양자화의 딜레이터링에 대한 랜덤성에 대해 높은 확률로 성립하므로, 실용적인 압축 감지 및 양자화된 차원 감소에 적합하다.