[논문 리뷰] Restricted isometry property of matrices with independent columns and neighborly polytopes by random sampling

Radosław Adamczak, Alexander E. Litvak외 2명|arXiv (Cornell University)|2009. 04. 30.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 18

한 줄 요약

이 논문은 독립적이고 등방성이며 하중하중(제곱근) 분포를 따르는 랜덤 행렬이 높은 확률로 제한된 등장성 성질(Restricted Isometry Property, RIP)을 만족함을 보이며, 이는 $ \ell_1 $-최소화를 통한 $ m $-희소 벡터의 정확한 복원을 가능하게 한다. 주요 결과로는 이러한 행렬이 순서 $ m \leq Cn / \log^2(cN/n) $ 에서 RIP를 만족함을 보이며, 이는 행렬의 열들이 형성하는 대칭 볼록체의 중심적 이웃성 다면체가 높은 확률로 $ m $-중앙 이웃성 다면체가 됨을 의미한다.

ABSTRACT

This paper considers compressed sensing matrices and neighborliness of a centrally symmetric convex polytope generated by vectors $\pm X_1,...,\pm X_N\in\R^n$, ($N\ge n$). We introduce a class of random sampling matrices and show that they satisfy a restricted isometry property (RIP) with overwhelming probability. In particular, we prove that matrices with i.i.d. centered and variance 1 entries that satisfy uniformly a sub-exponential tail inequality possess this property RIP with overwhelming probability. We show that such "sensing" matrices are valid for the exact reconstruction process of $m$-sparse vectors via $\ell_1$ minimization with $m\le Cn/\log^2 (cN/n)$. The class of sampling matrices we study includes the case of matrices with columns that are independent isotropic vectors with log-concave densities. We deduce that if $K\subset \R^n$ is a convex body and $X_1,..., X_N\in K$ are i.i.d. random vectors uniformly distributed on $K$, then, with overwhelming probability, the symmetric convex hull of these points is an $m$-centrally-neighborly polytope with $m\sim n/\log^2 (cN/n)$.

연구 동기 및 목표

• 독립적인 열을 가진 랜덤 행렬이 제한된 등장성 성질(RIP)을 만족할 수 있는 충분한 조건을 확립하는 것.
• 이러한 행렬의 RIP와 그 열들이 형성하는 중심대칭 볼록 다면체의 이웃성 간의 연관성을 규명하는 것.
• 측정 행렬이 파rameter $ \delta_{2m} < \sqrt{2}-1 $ 를 만족할 경우 $ \ell_1 $-최소화가 $ m $-희소 벡터를 정확히 복원할 수 있음을 보이는 것.
• 정확한 복원이 고도로 확률적으로 가능해지는 최대 희소성 $ m $ 에 대한 날카운 경계를 유도하는 것.

제안 방법

• 독립적이고 등방성이며 하중하중 꼬리 감쇠와 $ \ell_2 $-노름의 농도를 만족하는 랜덤 행렬의 클래스를 도입한다.
• 정확한 $ \ell_1 $-재구성에 대한 충분조건으로 행렬 $ A/\sqrt{n} $ 에 대한 RIP 조건 $ \delta_{2m}(A/\sqrt{n}) < \sqrt{2}-1 $ 을 사용한다.
• 선형 형식에 대한 농도 부등식과 尾확률 추정을 사용하여 등장성 상수 $ \delta_{2m} $ 를 근사한다.
• 지수 랜덤 변수에 대한 수도코프 유형의 최소화 원리를 적용하여 희소 벡터에 대한 행렬의 기대 연산자 노름에 하한을 도출한다.
• 행렬의 열들 $ \pm X_1, \dots, \pm X_N $ 이 형성하는 대칭 볼록체 $ K(A) $ 의 기하학적 성질을 분석하며, 유도된 조건 하에서 이 다면체가 $ m $-중앙 이웃성 다면체가 됨을 보인다.
• 확률적 방법을 사용하여 RIP 및 이웃성의 실패 확률를 근사하며, 이가 $ n $ 에 대해 지수적으로 감소함을 보인다.

실험 결과

연구 질문

• RQ1 독립적인 열의 분포에 대해 어떤 조건이 랜덤 행렬이 고도로 확률적으로 제한된 등장성 성질(RIP)을 만족하는가?
• RQ2 이러한 랜덤 행렬을 사용할 때 $ \ell_1 $-최소화로 정확히 복원 가능한 $ m $-희소 벡터의 최대 희소성 수준 $ m $ 은 무엇인가?
• RQ3 행렬 $ A $ 의 RIP 와 $ \pm X_1, \dots, \pm X_N $ 의 대칭 볼록체 $ K(A) $ 의 이웃성 간의 관계는 무엇인가?
• RQ4 하중하중 꼬리 가정 하에서 $ m \sim n / \log^2(N/n) $ 를 초월하여 복원 가능한 $ m $ 의 경계를 향상시킬 수 있는가?
• RQ5 고차원에서 RIP 및 이웃성의 실패 확률의 날카운 주요 크기(order of magnitude)는 무엇인가?

주요 결과

• 균일한 하중하중 꼬리 부등식을 만족하는 i.i.d. 중심화된 항목을 가진 랜덤 행렬은 순서 $ m \leq Cn / \log^2(cN/n) $ 에서 높은 확률로 제한된 등장성 성질(RIP)을 가짐을 보였다.
• i.i.d. 등방성 벡터이며 로그-볼록 밀도를 가지는 $ X_i $ 에 대해 $ \pm X_1, \dots, \pm X_N $ 의 대칭 볼록체는 높은 확률으로 $ m \sim n / \log^2(cN/n) $ 에서 $ m $-중앙 이웃성 다면체가 됨을 보였다.
• 하중하중 꼬리 감쇠를 만족하는 i.i.d. 항목을 가진 행렬에 대해서는, $ m \leq Cn / \log^2(cN/n) $ 일 때 정확한 $ m $-희소 벡터 복원이 $ \ell_1 $-최소화를 통해 고도로 확률적으로 가능함을 보였다.
• 희소 벡터에 대한 행렬의 연산자 노름에 대한 하한이 일치함을 보여, $ m $ 에 대한 경계가 수치 상수를 제외하고 날카로움을 입증하였다.
• RIP 및 이웃성의 실패 확률이 $ \exp(-c\sqrt{n}) $ 로 감소함을 보이며, 이는 $ n \to \infty $ 일 때 성공 확률이 극적으로 높음을 시사한다.
• 결과는 $ \mathbb{R}^n $ 내의 볼록체 $ K \subset \mathbb{R}^n $ 에 균일하게 분포된 벡터에도 적용되며, 이들의 대칭 볼록체가 높은 확률으로 $ m \sim n / \log^2(cN/n) $ 에서 $ m $-중앙 이웃성 다면체가 됨을 보였다.