[논문 리뷰] On the Power of Truncated SVD for General High-rank Matrix Estimation Problems

Simon S. Du, Yining Wang외 1명|arXiv (Cornell University)|2017. 02. 22.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 10

한 줄 요약

이 논문은 높은 질량의 양측성 정반비대칭 행렬 $\mathbf{A}$ 의 스펙트럴 노름에 가까운 추정치 $\widehat{\mathbf{A}}$ 의 절단 SVD 가 곱셈형 프로베누스 노름 근사치를 제공함을 보여주며, 이는 높은 질량의 행렬 복원, 노이즈 제거, 공분산 추정에서 최적의 표본 복잡도를 가능하게 한다. 이는 낮은 질량의 구조나 스펙트럴 갭 가정을 필요로 하지 않는다.

ABSTRACT

We show that given an estimate $\widehat{A}$ that is close to a general high-rank positive semi-definite (PSD) matrix $A$ in spectral norm (i.e., $\|\widehat{A}-A\|_2 \leq δ$), the simple truncated SVD of $\widehat{A}$ produces a multiplicative approximation of $A$ in Frobenius norm. This observation leads to many interesting results on general high-rank matrix estimation problems, which we briefly summarize below ($A$ is an $n imes n$ high-rank PSD matrix and $A_k$ is the best rank-$k$ approximation of $A$): (1) High-rank matrix completion: By observing $Ω(\frac{n\max\{ε^{-4},k^2\}μ_0^2\|A\|_F^2\log n}{σ_{k+1}(A)^2})$ elements of $A$ where $σ_{k+1}\left(A ight)$ is the $\left(k+1 ight)$-th singular value of $A$ and $μ_0$ is the incoherence, the truncated SVD on a zero-filled matrix satisfies $\|\widehat{A}_k-A\|_F \leq (1+O(ε))\|A-A_k\|_F$ with high probability. (2)High-rank matrix de-noising: Let $\widehat{A}=A+E$ where $E$ is a Gaussian random noise matrix with zero mean and $ν^2/n$ variance on each entry. Then the truncated SVD of $\widehat{A}$ satisfies $\|\widehat{A}_k-A\|_F \leq (1+O(\sqrt{ν/σ_{k+1}(A)}))\|A-A_k\|_F + O(\sqrt{k}ν)$. (3) Low-rank Estimation of high-dimensional covariance: Given $N$ i.i.d.~samples $X_1,\cdots,X_N\sim\mathcal N_n(0,A)$, can we estimate $A$ with a relative-error Frobenius norm bound? We show that if $N = Ω\left(n\max\{ε^{-4},k^2\}γ_k(A)^2\log N ight)$ for $γ_k(A)=σ_1(A)/σ_{k+1}(A)$, then $\|\widehat{A}_k-A\|_F \leq (1+O(ε))\|A-A_k\|_F$ with high probability, where $\widehat{A}=\frac{1}{N}\sum_{i=1}^N{X_iX_i^ op}$ is the sample covariance.

연구 동기 및 목표

• 스펙트럴 노름 근사치가 높은 질량의 행렬 추정에서 부족한 점을 해결하기 위해, 질량 증폭으로 인해 프로베누스 노름 오차가 클 수 있음을 고려한다.
• 높은 질량의 행렬 $\mathbf{A}$ 에 대해, 난잡한 스펙트럴 노름 추정치 $\widehat{\mathbf{A}}$ 의 절단 SVD 가 곱셈형 프로베누스 근사치를 제공함을 보여준다.
• 스펙트럴 갭에 의존하지 않는 높은 질량의 행렬 복원 및 노이즈 제거의 표본 복잡도 한계를 설정함으로써 이전 결과를 향상시킨다.
• 낮은 차원의 공분산 추정을 향상시키기 위해, $N \approx n$ 개의 i.i.d. 표본이 프로베누스 노름 상대 오차를 달성하는 데 충분함을 보여준다. 이는 고전적인 $N \approx n^2$ 요구 조건을 초월한다.

제안 방법

• 스펙트럴 노름에서 $\|\widehat{\mathbf{A}} - \mathbf{A}\|_2 \leq \delta$ 를 만족하는 행렬 $\widehat{\mathbf{A}}$ 에 대해 절단 SVD 를 적용하여 저질량 근사치 $\widehat{\mathbf{A}}_k$ 를 생성한다.
• 프로베누스 노름에서 $\|\widehat{\mathbf{A}}_k - \mathbf{A}\|_F \leq C(k,\delta,\sigma_{k+1}(\mathbf{A})) \|\mathbf{A} - \mathbf{A}_k\|_F$ 라는 곱셈형 근사치를 증명한다.
• 웨일의 부등식과 스펙트럴 분해를 사용하여 $\widehat{\mathbf{A}}_k$ 와 $\mathbf{A}$ 사이의 오차를 제한하며, $\widehat{\mathbf{A}}$ 가 스펙트럴 노름에서 가까운 점을 활용한다.
• 행렬 복원에서 표본 복잡도 한계를 확보하기 위해 $n\|\mathbf{A}\|_{\max} \leq \mu_0\|\mathbf{A}\|_F$ 조건을 분석한다.
• 다항 스펙트럼 감쇠 조건 하에서 최소 최대 비율을 설정하며, $\beta > 1/2$ 인 경우 $R_1 \asymp (n/N)^{(2\beta-1)/(2\beta)}$ 와 $R_2 \asymp \nu^{2(2\beta-1)/(2\beta)}$ 를 추측한다.
• 모수적 고유값 감쇠 모델 또는 부트스트랩 방법을 사용하여 $\sigma_{k+1}(\mathbf{A})$ 가 알려지지 않았을 경우 최적의 절단 질량 $k$ 를 추정한다.

실험 결과

연구 질문

• RQ1 스펙트럴 노름에 가까운 추정치 $\widehat{\mathbf{A}}$ 의 절단 SVD 가 일반적인 높은 질량의 양측성 정반비대칭 행렬 $\mathbf{A}$ 에 대해 곱셈형 프로베누스 근사치를 제공할 수 있는가?
• RQ2 높은 질량의 행렬 복원에서 스펙트럴 갭에 의존하지 않는 표본 복잡도로 $(1+\varepsilon)$-상대 오차가 프로베누스 노름에서 달성 가능한가?
• RQ3 노이즈가 첨가된 관측치가 스펙트럴 노름에서 가까운 것으로만 가정할 경우, 진짜 행렬이 정확히 낮은 질량이 아니더라도 행렬 노이즈 제거가 가능한가?
• RQ4 낮은 차원의 공분산 추정에서 $N \approx n$ 개의 표본으로 프로베누스 노름 상대 오차를 달성할 수 있는가? 이는 고전적인 $N \approx n^2$ 보다 향상된 성능이다.
• RQ5 다항 스펙트럼 감쇠($\sigma_j \propto j^{-\beta}$) 조건 하에서 행렬 복원 및 노이즈 제거의 최소 최대 비율은 무엇인가?

주요 결과

• 스펙트럴 노름 추정치 $\widehat{\mathbf{A}}$ 에 대해 $\|\widehat{\mathbf{A}} - \mathbf{A}\|_2 \leq \delta$ 를 만족할 경우, 절단 SVD 는 곱셈형 프로베누스 근사치를 제공한다: $\|\widehat{\mathbf{A}}_k - \mathbf{A}\|_F \leq C(k,\delta,\sigma_{k+1}(\mathbf{A})) \|\mathbf{A} - \mathbf{A}_k\|_F$.
• 스펙트럴 갭에 의존하지 않는 $\mu_0$-스피크니스 조건 하에서 높은 질량의 행렬 복원에서, 절단 SVD 추정치는 프로베누스 노름에서 $(1+O(\varepsilon))$-상대 오차를 달성한다.
• 높은 질량의 행렬 노이즈 제거에서, 이 방법은 행렬 $\mathbf{A}$ 를 정확히 낮은 질량으로 간주하지 않더라도 프로베누스 노름 오차로 회복할 수 있다.
• 낮은 차원의 공분산 추정에서, $N \approx n$ 개의 i.i.d. 표본만으로도 프로베누스 노름 상대 오차로 인구 공분산 $\mathbf{A}$ 를 근사할 수 있으며, 고전적인 $N \approx n^2$ 보다 향상된다.
• 논문은 다항 스펙트럼 감쇠($\sigma_j \propto j^{-\beta}$) 조건 하에서 행렬 복원 및 노이즈 제거의 최소 최대 비율이 $R_1 \asymp (n/N)^{(2\beta-1)/(2\beta)}$ 와 $R_2 \asymp \nu^{2(2\beta-1)/(2\beta)}$ 라고 추측한다. 이는 $\beta > 1/2$ 인 경우에 해당한다.
• 핵심 범위 최소화를 피하고, 아클리오토퍼스와 매셔리(2007) 및 하드트와 우터스(2014)의 결과를 포함한 이전 연구보다 더 나은 표본 복잡도를 달성한다.