[논문 리뷰] Asymmetry Helps: Eigenvalue and Eigenvector Analyses of Asymmetrically Perturbed Low-Rank Matrices

Yuxin Chen, Cheng Chen외 1명|arXiv (Cornell University)|2018. 11. 30.

Random Matrices and Applications참고 문헌 55인용 수 10

한 줄 요약

이 논문은 통계적 비대칭성에 의해 유도되는 편향 보정의 잠재적 이점 덕분에, 비대칭적으로 페르터베이션된 저랭크 행렬의 고유분해가 표준 SVD보다 주요 고유값과 고유벡터의 추정을 훨씬 더 정확하게 수행할 수 있음을 보여준다. 주요 기여는 이론적으로 비대칭성에 기인한 편향 감소 효과를 고려하여, 이조차도 이질적 잡음 조건 하에서도 비대칭 고유분해가 고유값 추정에서 SVD보다 최대 $O(\sqrt{n})$ 배 더 정확하다는 비점근 이론을 제시하는 것이다. 이는 잡음 분포의 사전 지식이 필요하지 않다.

ABSTRACT

This paper is concerned with the interplay between statistical asymmetry and spectral methods. Suppose we are interested in estimating a rank-1 and symmetric matrix $\mathbf{M}^{\star}\in \mathbb{R}^{n imes n}$, yet only a randomly perturbed version $\mathbf{M}$ is observed. The noise matrix $\mathbf{M}-\mathbf{M}^{\star}$ is composed of zero-mean independent (but not necessarily homoscedastic) entries and is, therefore, not symmetric in general. This might arise, for example, when we have two independent samples for each entry of $\mathbf{M}^{\star}$ and arrange them into an {\em asymmetric} data matrix $\mathbf{M}$. The aim is to estimate the leading eigenvalue and eigenvector of $\mathbf{M}^{\star}$. We demonstrate that the leading eigenvalue of the data matrix $\mathbf{M}$ can be $O(\sqrt{n})$ times more accurate --- up to some log factor --- than its (unadjusted) leading singular value in eigenvalue estimation. Further, the perturbation of any linear form of the leading eigenvector of $\mathbf{M}$ --- say, entrywise eigenvector perturbation --- is provably well-controlled. This eigen-decomposition approach is fully adaptive to heteroscedasticity of noise without the need of careful bias correction or any prior knowledge about the noise variance. We also provide partial theory for the more general rank-$r$ case. The takeaway message is this: arranging the data samples in an asymmetric manner and performing eigen-decomposition could sometimes be beneficial.

연구 동기 및 목표

• 비대칭적으로 페르터베이션된 저랭크 행렬에 대해 고유분해를 사용할 경우 대칭 또는 SVD 기반 접근법에 비해 통계적 및 스펙트럼적 이점이 있는지 이해하기.
• 일반적인 이질적 잡음 조건 하에서 주요 고유값과 고유벡터에 대한 비점근 페르터베이션 경계를 개발하기.
• 왜 잡음 행렬의 비대칭성이 고유값 추정에서 편향을 자연스럽게 감소시키는지 설명하고, 명시적 편향 보정이 필요 없음을 밝히기.
• 이론적 프레임워크를 일반적인 랭크-$r$ 경우로 확장하고, 고유분해 방법이 여전히 효과적인 조건을 제공하기.
• 공분산 추정 및 행렬 완성과 같은 실제 응용 분야에서 이 방법의 실용적 이점을 입증하기.

제안 방법

• 편차 행렬 $\bm{H}$의 독립적이고 이질적인 성분을 갖는 비대칭 저랭크 행렬에서 고유값 및 고유벡터 페르터베이션을 분석하기 위한 이론적 프레임워크를 제안한다.
• 네이만 급수 전개와 스펙트럼 노름 제어를 통해 비대칭성에 기인한 편향 감소를 고려한 고유값 페르터베이션에 대한 마스터 경계를 유도한다.
• 새로운 네이만 기법의 응용을 통해 주요 고유벡터의 선형 형식, 특히 요소별 페르터베이션에 대한 비점근 경계를 개발한다.
• 1-랭크 모델을 기반으로 하여 행렬 페르터베이션 이론과 비균일성 가정을 활용해 결과를 랭크-$r$ 경우로 확장한다.
• 행렬 추정 및 행렬 완성 문제에 대한 수치 실험을 통해 이론적 결과를 검증하고, 고유분해를 SVD 및 대칭화된 추정기와 비교한다.
• 데이터를 분할하여 상부 및 하부 삼각형 부분에 별도로 할당함으로써 비대칭 표본 공분산 추정기 $\widehat{\bm{\Sigma}}_{\mathsf{asym}}$를 제안하여 스펙트럼 노름 추정의 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 왜 비대칭적으로 페르터베이션된 행렬의 고유분해가 대칭 저랭크 행렬의 주요 고유값을 추정하는 데 SVD보다 더 우수한 성능을 보이는가?
• RQ2 왜 잡음 행렬의 통계적 비대칭성이 명시적 보정 없이도 고유값 추정의 편향을 감소시키는가?
• RQ3 일반적인 이질적 잡음 조건 하에서 선형 형식 및 요소별 성분에 대한 비점근 고유벡터 페르터베이션 경계는 무엇인가?
• RQ4 제안된 프레임워크는 의미 있는 이론적 보장 하에 일반 랭크-$r$ 경우로 확장될 수 있는가?
• RQ5 공분산 추정 및 행렬 완성과 같은 응용 분야에서 이 비대칭성에 기인한 정확도 향상은 어떤 실용적 함의를 갖는가?

주요 결과

• 진짜 주요 고유값 $\lambda^\star$를 추정할 때, 비대칭 데이터 행렬 $\bm{M}$의 주요 고유값은 $\bm{M}$의 주요 특이값보다 최대 $O(\sqrt{n})$ 배 더 정확하며, 로그 인자까지 고려할 때 성립한다.
• 고유분해 방법은 이질적 잡음에 완전히 적응적이며, 잡음 분산이나 분포에 대한 사전 지식이 필요하지 않다.
• 통계적 비대칭성이 고유값 추정의 편향을 자동으로 감소시키며, 대칭 또는 SVD 기반 방법에서 흔히 요구되는 정교한 편향 보정 절차가 필요 없어진다.
• 일반적인 잡음 모델 하에서 주요 고유벡터의 선형 형식, 특히 요소별 페르터베이션에 대한 비점근 고유벡터 페르터베이션 경계가 확립된다.
• 스피iked 공분산 모델에서 비대칭화된 표본 공분산 행렬 $\widehat{\bm{\Sigma}}_{\mathsf{asym}}$의 가장 큰 고유값은 표준 표본 공분산 행렬 $\hat{\bm{\Sigma}}$의 것보다 진짜 스펙트럼 노름에 훨씬 더 가까이 있다.
• 수치 실험 결과, 고유분해 방법이 i.i.d. 가우시안 잡음 조건과 행렬 완성 설정 모두에서 SVD를 일관되게 능가하며, 차원 $n$이 커질수록 성능 격차가 커진다.