[논문 리뷰] A Quotient Property for Matrices with Heavy-Tailed Entries and its Application to Noise-Blind Compressed Sensing

Felix Krahmer, Christian Kümmerle외 1명|arXiv (Cornell University)|2018. 06. 11.

Sparse and Compressive Sensing Techniques참고 문헌 11인용 수 10

한 줄 요약

이 논문은 첨자 수가 무거운 尾를 가진 입자들을 가진 랜덤 행렬에 대해 $ι_{1}$-몫 성질을 확립하며, 이러한 행렬이 높은 확률로 희박한 벡터의 노이즈 무관 $ι_{1}$-최소화 복원을 지원함을 증명한다. 주요 기여는 이전 결과를 서브-가우시안 및 가우시안 분포를 초월하여 일반화한 통합 분석으로, 초가우시안 분포에서 더 뛰어난 강건성을 보임을 보여준다.

ABSTRACT

For a large class of random matrices $A$ with i.i.d. entries we show that the $\ell_1$-quotient property holds with probability exponentially close to 1. In contrast to previous results, our analysis does not require concentration of the entrywise distributions. We provide a unified proof that recovers corresponding previous results for (sub-)Gaussian and Weibull distributions. Our findings generalize known results on the geometry of random polytopes, providing lower bounds on the size of the largest Euclidean ball contained in the centrally symmetric polytope spanned by the columns of $A$. At the same time, our results establish robustness of noise-blind $\ell_1$-decoders for recovering sparse vectors $x$ from underdetermined, noisy linear measurements $y = Ax + w$ under the weakest possible assumptions on the entrywise distributions that allow for recovery with optimal sample complexity even in the noiseless case. Our analysis predicts superior robustness behavior for measurement matrices with super-Gaussian entries, which we confirm by numerical experiments.

연구 동기 및 목표

• 서브-가우시안 및 가우시안 모델을 초월하여 첨자 수가 무거운, 집중하지 않는 입자들을 가진 랜덤 행렬에 대해 $ι_{1}$-몫 성질을 확장하는 것.
• 노이즈 수준에 대한 사전 지식이 없이도 $ι_{1}$-최소화의 강건하고 노이즈 무관 복원 보장을 수립하는 것.
• 서브-가우시안 및 가우시안 분포에 대해 기존의 랜덤 다면체 기하학과 $ι_{1}$-최소화 결과를 하나의 분석 프레임워크로 통합하여 광범위한 분포 클래스에 적용 가능하게 하는 것.
• 측정 행렬의 초가우시안 입자들을 가질 경우 복원의 강건성이 향상됨을 이론적으로 및 수치적으로 입증하는 것.
• 랜덤 다면체 $AB_{1}^{N}$의 내접원 반지름에 대한 날카운 확률적 하한을 제공하여 글루스킨-카시린 및 리트바크 유형 결과를 일반화하는 것.

제안 방법

• 독립 동일 분포의 첨자 수가 무거운 입자들을 위한 모멘트 및 尾 추정에 기반하여 농도 불등식을 피하는 통합 증명 프레임워크를 개발한다.
• 측정 행렬의 $ι_{1}$-구의 이미지 기하학을 반영하는 노름 $\|\cdot\|^{(\sqrt{\log(eN/m)})}$에 대한 수정된 $ι_{1}$-몫 성질을 도입한다.
• 노이즈 무관 $ι_{1}$-최소화 하에서 $1 \leq p \leq 2$ 에 대해 $\ell_{p}$-노름 오차 한계를 유도하기 위해 영공간 성질(NSP)과 스테크킨 추정을 적용한다.
• 재구성 오차를 유한하게 하기 위해 클리핑 방법과 $\ell_{1}$-노름이 제어된 $A\tilde{z} = w$ 를 만족하는 벡터 $\tilde{z}$ 의 확률적 구성 기법을 사용한다.
• 몫 성질과 영공간 성질에 대한 고확률 사건을 결합하여 높은 신뢰도로 안정적 복원을 도출한다.
• 소형 공 method 와 모멘트 한계를 활용하여 강한 농도 가정 없이 $\log(N)$ 개의 유한 모멘트만을 가지는 분포를 다룬다.

실험 결과

연구 질문

• RQ1 강한 농도를 만족하지 않는 첨자 수가 무거운 입자를 가진 랜덤 행렬에 대해 $ι_{1}$-몫 성질을 확립할 수 있는가?
• RQ2 측정 행렬이 초가우시안 입자를 가질 경우, 노이즈 무관 $ι_{1}$-최소화가 희박한 벡터의 안정적이고 강건한 복원을 달성하는가?
• RQ3 측정 행렬의 입자들에 대해 약한 모멘트 가정 하에서 복원의 최적 샘플 복잡도는 무엇인가?
• RQ4 첨자 수가 무거운 행렬에 대해 랜덤 다면체 $AB_{1}^{N}$의 기하학적 성질—특히 내접원 반지름—은 어떻게 행동하는가?
• RQ5 하나의 분석 프레임워크로 서브-가우시안 및 가우시안 행렬에 대한 기존 결과를 복원하면서 더 무거운 尾를 가진 분포로 확장할 수 있는가?

주요 결과

• $ι_{1}$-몫 성질은 $m \times N$ 랜덤 행렬에 대해 독립 동일 분포의 대칭적, 단위 분산 입자들을 가진 경우, $\log(N)$ 개의 유한 모멘트만을 만족해도 확률적으로 1에 가까운 수준에서 성립한다.
• 첨자 수가 무거운 입자들에 대해서도 랜덤 다면체 $AB_{1}^{N}$의 내접원 반지름은 $\Omega(\sqrt{\log(eN/m)})$ 배의 유클리드 노름으로 하한이 존재한다.
• 노이즈 무관 $ι_{1}$-최소화는 상수들이 노이즈 수준에 영향을 받지 않는 형태의 $\ell_{p}$-오차 한계 $\|x - \Delta_{1,\eta}(Ax + w)\|_p \leq C \sigma_s(x)_1 / s^{1-1/p} + D \eta + E \|w\|^{(\sqrt{\log(eN/m)})}$ 를 달성한다.
• 복원 오차는 희박성 $s$ 및 노이즈 수준 $\eta$ 에 대해 최적의 방식으로 스케일링되며, 노이즈가 알려지지 않은 경우에도 강건성을 유지한다.
• 수치 실험 결과 초가우시안 입자들(예: 라플라스 분포)이 서브-가우시안 또는 가우시안 입자들보다 우수한 강건성을 보임을 확인한다.
• 분석은 이전의 서브-가우시안 및 가우시안 행렬 결과를 통합하고 일반화하며, 알려진 내접원 반지름 및 영공간 성질 한계를 특수 케이스로 복원한다.