[논문 리뷰] Rate-Optimal Perturbation Bounds for Singular Subspaces with Applications to High-Dimensional Statistics

Tommaso Cai, Anru R. Zhang|arXiv (Cornell University)|2016. 05. 02.

Sparse and Compressive Sensing Techniques참고 문헌 57인용 수 19

한 줄 요약

이 논문은 추가 노이즈 하에서 낮은 질서의 행렬의 왼쪽 및 오른쪽 특이부공간에 대해 rate-최적의 편차 경계를 수립한다. 여기서는 스펙트럴 거리와 프로베니우스 거리의 sin Θ 측정법을 별도로 사용한다. 또한, 동일한 편차 조건 하에서 왼쪽 및 오른쪽 특이부공간이 본질적으로 다른 최적 수렴 속도를 가질 수 있음을 증명하며, 이는 고차원 통계학에서 이전에 기록되지 않은 현상이다.

ABSTRACT

Perturbation bounds for singular spaces, in particular Wedin's $\sin Θ$ theorem, are a fundamental tool in many fields including high-dimensional statistics, machine learning, and applied mathematics. In this paper, we establish separate perturbation bounds, measured in both spectral and Frobenius $\sin Θ$ distances, for the left and right singular subspaces. Lower bounds, which show that the individual perturbation bounds are rate-optimal, are also given. The new perturbation bounds are applicable to a wide range of problems. In this paper, we consider in detail applications to low-rank matrix denoising and singular space estimation, high-dimensional clustering, and canonical correlation analysis (CCA). In particular, separate matching upper and lower bounds are obtained for estimating the left and right singular spaces. To the best of our knowledge, this is the first result that gives different optimal rates for the left and right singular spaces under the same perturbation. In addition to these problems, applications to other high-dimensional problems such as community detection in bipartite networks, multidimensional scaling, and cross-covariance matrix estimation are also discussed.

연구 동기 및 목표

• Wedin의 sin Θ 정리에서 균일한 편차 경계의 한계를 해결하기 위해, 고차원 환경에서 서로 다른 민감도를 보이는 왼쪽 및 오른쪽 특이부공간을 대칭적으로 다루는 기존 접근 방식의 문제점을 해결한다.
• 동일한 편차 조건 하에서 왼쪽 및 오른쪽 특이부공간에 대해 별도의, rate-최적의 상한 및 하한 경계를 유도하며, 이들이 상당히 다를 수 있음을 보여준다.
• 이러한 정교화된 경계를 저질러진 행렬 복원, 군집화, 그리고 정준 상관 분석(Canonical Correlation Analysis, CCA)과 같은 주요 고차원 통계 문제에 적용한다. 여기서는 왼쪽 또는 오른쪽 부공간 중 하나만 주로 관심을 끌 수 있다.
• 동일한 노이즈 조건 하에서 왼쪽 및 오른쪽 특이부공간이 서로 다른 최적 수렴 속도를 달성할 수 있음을 처음으로 이론적으로 입증하며, 편차 이론에서 오랫동안 존재하던 격차를 해소한다.

제안 방법

• 스펙트럴 거리와 프로베니우스 거리의 sin Θ 측정법을 사용하여 왼쪽 및 오른쪽 특이부공간에 대해 별도의 편차 경계를 유도한다. 이는 행렬 분석에서 표준적인 측정법이다.
• 왼쪽 및 오른쪽 특이부공간의 행동을 분리하는 새로운 분석 프레임워크를 도입하여, 비대칭 수렴 속도를 가능하게 한다.
• 집중 부등식 및 랜덤 행렬 이론 도구를 활용하여, 편차된 부공간의 스펙트럴 노름을 제어한다. 이들 도구로는 하르 분포를 가진 랜덤 행렬과 χ² 尾부 부등식이 포함된다.
• 첫 번째 r 개의 특이벡터에 대한 조건화 방법을 적용하고, ε-넷 기법을 사용하여 잔여 부공간의 노름을 유계화한다.
• 행렬 편차 이론과 Davis-Kahan-Wedin 프레임워크를 활용하며, 비대칭적이고 비대칭적인 설정에 확장하여 별도의 경계를 유도한다.
• 하한 경계를 구성하여 rate-최적성의 증명을 수행하며, 유도된 상한 경계가 상수 인자 내에서 최적임을 보여준다.

실험 결과

연구 질문

• RQ1 동일한 편차 조건 하에서 낮은 질서의 행렬의 왼쪽 및 오른쪽 특이부공간은 서로 다른 최적 수렴 속도로 추정될 수 있는가?
• RQ2 i.i.d. 노이즈 조건 하에서 고차원 환경에서 왼쪽 및 오른쪽 특이부공간을 추정할 때의 정확한 수렴 속도는 무엇인가?
• RQ3 행렬의 행 수와 열 수가 현저히 비대칭일 경우, 특이부공간에 대한 편차 경계는 어떻게 다를 수 있는가?
• RQ4 저질러진 행렬 복원, 군집화, 또는 CCA와 같은 고차원 통계 모델 중에서 왼쪽 및 오른쪽 특이부공간의 별도 수렴 속도가 실질적으로 중요한 경우는 언제인가?
• RQ5 한쪽(왼쪽 또는 오른쪽) 부공간만 회복 가능할 경우, 원래의 행렬이나 특이부공간을 안정적으로 복원할 수 있는가?

주요 결과

• 이 논문은 왼쪽 및 오른쪽 특이부공간에 대해 별도로 최초로 rate-최적의 편차 경계를 수립하며, 동일한 편차 조건 하에서도 이들의 수렴 속도가 다를 수 있음을 보여준다.
• 저질러진 행렬 복원 문제에서, 왼쪽 특이부공간을 추정할 때 최적 수렴 속도는 O(√(d/n))이며, 오른쪽 특이부공간은 O(√(p/n))이다. 여기서 d와 p는 각각 행과 열의 차원이다.
• 고차원 군집화에서는 그룹의 구조를 회복할 수 있는 능력이 어느 특이부공간이 잘 추정되는지에 따라 달라지며, 논문은 비대칭적인 차원 조건 하에서 오직 한쪽만 회복 가능할 수 있음을 보여준다.
• 하한 경계는 상한 경계와 상수 인자 내에서 일치하며, 이는 유도된 수렴 속도가 최적이며 점점 더 개선될 수 없다는 것을 증명한다.
• 분석 결과에 따르면, 일부 설정에서는 왼쪽 특이부공간은 정확하게 추정될 수 있지만 오른쪽은 그렇지 못할 수 있으며, 그 반대의 경우도 존재한다. 이는 매트릭스의 차원과 노이즈 구조에 따라 달라진다.
• 결과는 정준 상관 분석(Canonical Correlation Analysis)에 적용되었으며, 논문은 동일한 노이즈 수준 하에서도 왼쪽 및 오른쪽 정준 벡터의 최적 추정 수렴 속도가 다를 수 있음을 보여준다.