[논문 리뷰] On the interval of fluctuation of the singular values of random matrices

Olivier Guédon, Alexander E. Litvak외 2명|arXiv (Cornell University)|2015. 09. 08.

Random Matrices and Applications참고 문헌 31인용 수 5

한 줄 요약

이 논문은 꼬리가 무거운 또는 지수 감소하는 성분을 가진 랜덤 행렬에 대해 고확률적 제한 이sovolete 성질(RIP)과 공분산 행렬 근사치를 수립한다. φ(t) = t^p (p > 4) 및 φ(t) = (1/2)exp(t^α) (α ∈ (0,2])에 대한 가정 H(φ)를 통해 尾 꼬리 감쇠를 분석함으로써, 열의 노름이 √n 근처에 집중할 경우 A/√n이 m = nψ(n/N)의 순서에서 고확률적으로 RIP를 만족함을 증명하며, 경험 공분산 행렬의 수렴 속도를 정밀하게 제시하여 기존 결과를 더 무거운 꼬리로 확장하고, 서브가우시안/서브지수 사례를 일반화한다.

ABSTRACT

Let $A$ be a matrix whose columns $X_1,\dots, X_N$ are independent random vectors in $\mathbb{R}^n$. Assume that the tails of the 1-dimensional marginals decay as $\mathbb{P}(|\langle X_i, a angle|\geq t)\leq t^{-p}$ uniformly in $a\in S^{n-1}$ and $i\leq N$. Then for $p>4$ we prove that with high probability $A/{\sqrt{n}}$ has the Restricted Isometry Property (RIP) provided that Euclidean norms $|X_i|$ are concentrated around $\sqrt{n}$. We also show that the covariance matrix is well approximated by the empirical covariance matrix and establish corresponding quantitative estimates on the rate of convergence in terms of the ratio $n/N$. Moreover, we obtain sharp bounds for both problems when the decay is of the type $ \exp({-t^{\alpha}})$ with $\alpha \in (0,2]$, extending the known case $\alpha\in[1, 2]$.

연구 동기 및 목표

• 일반적인 꼬리 감쇠 가정 하에 꼬리가 무거운 성분을 가진 랜덤 행렬에 대한 제한 이sovolete 성질(RIP)을 수립하기 위해.
• 모멘트 및 꼬리 조건 하에서 경험 공분산 행렬이 진짜 공분산 행렬로 수렴하는 속도를 정량화하기 위해.
• 기존의 서브가우시안 및 서브지수 사례를 초월하여 더 꼬리가 두꺼운 분포로까지 RIP 및 공분산 근사 결과를 확장하기 위해.
• 비점근적 경계로서, sparsity 수준 m에 대해 n/N 비율과 꼬리 매개변수에 따라 RIP가 성립하는 최대 m에 대한 정밀한 경계를 제공하기 위해.

제안 방법

• 모든 a ∈ Sn−1 및 t > 0에 대해 P(|⟨Xi, a⟩| ≥ t) ≤ τ/φ(t) 를 만족하는 尾 꼬리 행동 가정 H(φ)를 사용함. 여기서 φ(t) = tp (p > 4) 또는 φ(t) = (1/2)exp(t^α) (α ∈ (0,2]).
• 로젠탈 유형 부등식 및 농도 불등식을 적용하여, 농도 함수 P(θ)를 통해 열의 노름이 √n에서 벗어남을 통제함.
• 편차 불등식과 유니온 바운드를 활용하여 부분행렬 AI의 최대 특이값 변동을 추정하고, 이는 이sovolete 상수 δm을 통해 RIP와 연결함.
• 순서 통계 및 모멘트 추정을 사용하여 Am = max_{|I|=m} ||(AI)^T AI - mI|| 를 유계함. 이는 부분행렬의 스펙트럼 변동을 통제함.
• 대칭화 및 비교 기법을 적용하여 Am에 하한 및 상한을 도출함으로써, sparsity 수준의 최적성 증명함.
• 노름 농도 및 스펙트럼 변동 결과를 조합하여, m = nψ(n/N)에 대해 비점근적 RIP 보장을 도출함. 여기서 ψ는 p 또는 α에 따라 달라짐.

실험 결과

연구 질문

• RQ1 예를 들어 멱법칙 또는 지수 꼬리일 경우, 정규화된 랜덤 행렬 A/√n이 고확률적으로 제한 이sovolete 성질(RIP)을 만족하는 조건은 무엇인가?
• RQ2 n/N 비율과 꼬리 매개변수 p 또는 α에 따라, RIP가 성립하는 최대 sparsity 수준 m는 무엇인가?
• RQ3 무거운 꼬리 조건 하에서 경험 공분산 행렬 (1/N)AA^T 가 진짜 공분산 행렬 (1/N)E[AA^T] 로 수렴하는 속도는 어떠한가?
• RQ4 Am 및 δm(A/√n)에 도출된 경계가 정밀한가? 그리고 n, N, 꼬리 매개변수에 대한 최적의 의존성은 무엇인가?
• RQ5 서브가우시안 및 서브지수 행렬에 대한 알려진 RIP 결과를 φ(t) = exp(t^α) (α ∈ (0,2]) 인 더 꼬리가 두꺼운 분포로 확장할 수 있는가?

주요 결과

• p > 4 이고 노름 농도 조건이 만족될 경우, A/√n은 m = nψ(n/N)의 순서에서 고확률적으로 RIP를 만족함. 여기서 ψ는 p와 θ에 따라 달라짐.
• 논문은 Am = max_{|I|=m} ||(AI)^T AI - mI|| 에 대해 정밀한 상한을 수립함. 고확률적으로 Am ≤ Cp (ln p / p)^(1/2) * (N/m)^(1/p) * (ln(2N/m))^(-1/p) 를 도출함.
• α ∈ (0,2] 인 경우, 논문은 Am ≥ c √m (ln(N/m))^(1/α) 를 확률 적어도 1/2로 증명함. 이는 경계가 절대 상수의 오차 범위 내에서 최적임을 보여줌.
• 열이 a ∈ Sn−1 에 대해 일관되게 E|⟨Xi, a⟩|^p ≤ 1 이면, 확률 >1/2에서 RIP가 성립하는 최대 m는 m (N/m)^{2/q} ≤ C n (q > p > 2) 를 만족함.
• α ∈ [1,2] 이고 N ≤ exp(cnα/2) 이면, 행렬은 P(max_i ||Xi||^2/n - 1 ≥ √2 - 1/2) ≤ 2 exp(-cnα/2) 를 만족함. 이는 강력한 노름 농도를 의미함.
• 논문은 A가 δ < 1 인 RIPm(δ) 를 확률 >1/2로 만족하면, m (ln(N/m))^{2/α} ≤ 4n 임을 증명함. 이는 sparsity 수준이 상수의 오차 범위 내에서 최적임을 보여줌.