[논문 리뷰] Sub-Gaussian Matrices on Sets: Optimal Tail Dependence and Applications

Halyun Jeong, Xiaowei Li외 2명|arXiv (Cornell University)|2020. 01. 28.

Sparse and Compressive Sensing Techniques참고 문헌 36인용 수 8

한 줄 요약

이 논문은 부분 가우시안 랜덤 행렬의 집합에 대한 최적의 꼬리 의존도를 확립하며, 농도 경계가 부분 가우시안 매개수 $ K $ 에 대해 $ K\sqrt{\log K} $ 의 형태로 의존함을 증명한다. 이는 이전의 부분 최적의 $ K^2 $ 의존도를 향상시킨다. 이 작업은 보다 정교한 모멘트 제약 조건을 갖춘 새로운 베르누이 및 한슨-하우잇 부등식을 도입하여, 압축 감지, 차원 감소 및 망각된 복조 응용 분야에서 더 탴한 이론적 보장을 가능하게 한다.

ABSTRACT

Random linear mappings are widely used in modern signal processing, compressed sensing and machine learning. These mappings may be used to embed the data into a significantly lower dimension while at the same time preserving useful information. This is done by approximately preserving the distances between data points, which are assumed to belong to $\mathbb{R}^n$. Thus, the performance of these mappings is usually captured by how close they are to an isometry on the data. Gaussian linear mappings have been the object of much study, while the sub-Gaussian settings is not yet fully understood. In the latter case, the performance depends on the sub-Gaussian norm of the rows. In many applications, e.g., compressed sensing, this norm may be large, or even growing with dimension, and thus it is important to characterize this dependence. We study when a sub-Gaussian matrix can become a near isometry on a set, show that previous best known dependence on the sub-Gaussian norm was sub-optimal, and present the optimal dependence. Our result not only answers a remaining question posed by Liaw, Mehrabian, Plan and Vershynin in 2017, but also generalizes their work. We also develop a new Bernstein type inequality for sub-exponential random variables, and a new Hanson-Wright inequality for quadratic forms of sub-Gaussian random variables, in both cases improving the bounds in the sub-Gaussian regime under moment constraints. Finally, we illustrate popular applications such as Johnson-Lindenstrauss embeddings, null space property for 0-1 matrices, randomized sketches and blind demodulation, whose theoretical guarantees can be improved by our results (in the sub-Gaussian case).

연구 동기 및 목표

• 기존에 부분 최적의 $ K^2 $ 의존도로 알려진, 부분 가우시안 노름 의존도에 대한 최적의 해를 해결하는 것.
• 등방성 부분 가우시안 행렬에 대한 이전 결과를 일반화하여 임의의 행렬 $ B $ 를 허용함으로써 더 넓은 적용 가능성을 확보하는 것.
• 개선된 모멘트 의존성 경계를 갖는 부분 가우시안 및 부분 지수 변수에 대한 새로운 베르누이형 및 한슨-하우잇 부등식을 개발하는 것.
• 존슨-린든스트라우스 임bedding, 영공간 성질, 무작위 스케치, 망각된 복조 등 핵심 응용 분야에서 이론적 보장을 향상시키는 것.
• 일반적인 설정에서 가우시안 폭 $ w(T) $ 와 반지름 $ \mathrm{rad}(T) $ 에 대한 의존도가 최적이었음을 입증하는 것.

제안 방법

• 집합 $ T $ 에서 $ \frac{1}{\|B\|_F}\|BAx\|_2 $ 가 $ \|x\|_2 $ 근처에 존재하는 새로운 균일 농도 경계를 유도하여, 최적의 $ K\sqrt{\log K} $ 의존도를 입증한다.
• 제1절 절대모멘트 제약 조건 하에 부분 지수 랜덤 변수에 대한 정교화된 베르누이 부등식을 도입하여, 부분 가우시안 영역의 경계를 향상시킨다.
• 두 번째 모멘트 제약 조건 하에 부분 가우시안 벡터의 이차 형식에 대한 새로운 한슨-하우잇 부등식을 수립한다.
• 새로운 부등식을 적용하여 구조적 랜덤 행렬 및 상관된 행 설정에서 더 탄탄한 농도를 입증한다.
• 개선된 경계를 사용하여 망각된 복조 및 신경망 복구에서 샘플 복잡도 요구 조건을 강화하며, $ n^3 + p^3 $ 에서 $ n^2 + p^2 $ 로 감소시킨다.

실험 결과

연구 질문

• RQ1 집합에서 부분 가우시안 랜덤 행렬의 농도에 있어 부분 가우시안 매개수 $ K $ 의 최적 의존도는 무엇인가?
• RQ2 이전 연구에서 부분 최적의 $ K^2 $ 의존도가 $ K\sqrt{\log K} $ 로 향상될 수 있으며, 이 경계가 타당한가?
• RQ3 모멘트 제약 조건 하에 베르누이형 및 한슨-하우잇 부등식을 어떻게 정교화하여 부분 가우시안 영역에서 꼬리 경계를 향상시킬 수 있는가?
• RQ4 새로운 부등식이 망각된 복조 및 압축 감지와 같은 응용 분야에서 이론적 보장을 얼마나 향상시키는가?
• RQ5 일반적인 설정에서 $ w(T) $ 와 반지름 $ \mathrm{rad}(T) $ 에 대한 의존도가 최적이었는가?

주요 결과

• 논문은 부분 가우시안 매개수 $ K $ 에 대해 $ K\sqrt{\log K} $ 의존도를 갖는 부분 가우시안 행렬의 집합에 대한 최적의 농도 경계를 확립하며, 이는 이전의 $ K^2 $ 의존도를 향상시킨다.
• 새로운 경계는 임의의 행렬 $ B $ 에 대해 유효하며, 이전 연구에서 $ B = I $ 를 요구했던 결과를 일반화하며, $ BA $ 의 행들이 상관되어 있을 경우에도 탄탄함을 유지한다.
• 제1절 절대모멘트 제약 조건 하에 부분 지수 변수에 대한 새로운 베르누이형 부등식을 유도하여, 부분 가우시안 영역의 꼬리 경계를 향상시킨다.
• 두 번째 모멘트 제약 조건 하에 부분 가우시안 벡터의 이차 형식에 대한 새로운 한슨-하우잇 부등식을 개발하여 더 탄탄한 농도를 제공한다.
• 망각된 복조에서 개선된 경계는 필요로 하는 네트워크 차원을 $ l \gtrsim n^3 + p^3 $ 에서 $ l \gtrsim n^2 + p^2 $ 로 감소시켜, 희박성 기반 복구 경계와 일치시킨다.
• $ w(T) + \mathrm{rad}(T) $ 에 대한 의존도가 일반적으로 최적이었음을 입증하여, 추가적인 구조적 가정 없이도 새로운 경계를 더 이상 향상시킬 수 없음을 확인한다.