[논문 리뷰] Normal Approximation and Confidence Region of Singular Subspaces

Dong Xia|arXiv (Cornell University)|2019. 01. 02.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 5

한 줄 요약

이 논문은 i.i.d. 노이즈 하에서 경험적 및 진짜 단일 하위공간 간의 투영 거리에 대한 비점근 정규 근사성을 확립한다. 경험적 고유값 프로젝터에 대한 명시적 공식과 고차항 편향 보정을 사용한다. 최적의 신호 대 잡음 비율 조건 하에서 점근적 정규성을 증명하며 수렴 속도를 제공한다. 이는 랭크가 $ o((d_1+d_2)^{1/3}) $ 비율로 증가할 수 있도록 하고, 고유값 갭 조건이 필요 없으며 $ d_1 $와 $ d_2 $에 대한 제약 조건도 없다. 핵심 기여는 명시적 편향 보정 차수를 포함한 엄밀한 유한 표본 정규 근사이다.

ABSTRACT

This paper is on the normal approximation of singular subspaces when the noise matrix has i.i.d. entries. Our contributions are three-fold. First, we derive an explicit representation formula of the empirical spectral projectors. The formula is neat and holds for deterministic matrix perturbations. Second, we calculate the expected projection distance between the empirical singular subspaces and true singular subspaces. Our method allows obtaining arbitrary $k$-th order approximation of the expected projection distance. Third, we prove the non-asymptotical normal approximation of the projection distance with different levels of bias corrections. By the $\lceil \log(d_1+d_2) ceil$-th order bias corrections, the asymptotical normality holds under optimal signal-to-noise ration (SNR) condition where $d_1$ and $d_2$ denote the matrix sizes. In addition, it shows that higher order approximations are unnecessary when $|d_1-d_2|=O((d_1+d_2)^{1/2})$. Finally, we provide comprehensive simulation results to merit our theoretic discoveries. Unlike the existing results, our approach is non-asymptotical and the convergence rates are established. Our method allows the rank $r$ to diverge as fast as $o((d_1+d_2)^{1/3})$. Moreover, our method requires no eigen-gap condition (except the SNR) and no constraints between $d_1$ and $d_2$.

연구 동기 및 목표

• 소음 행렬의 원소가 i.i.d.일 때 경험적 및 진짜 단일 하위공간 간의 투영 거리에 대한 비점근 정규 근사를 개발한다.
• 정규 행렬의 페르터베이션에 대해 유효한 경험적 스펙트럴 프로젝터에 대한 명시적 표현 공식을 유도한다.
• 고유값 갭 가정을 피하는 새로운 방법을 사용하여 기대 투영 거리의 임의의 순서 근사를 계산한다.
• 최적의 신호 대 잡음 비율 조건 하에서 $ \rceil \log(d_1 + d_2) \lceil $-번째 차수의 편향 보정을 사용해 투영 거리의 점근적 정규성을 확립한다.
• $ |d_1 - d_2| = O((d_1 + d_2)^{1/2}) $일 경우 고차항 근사를 피할 수 있음을 보이며, 광범위한 시뮬레이션을 통해 결과를 검증한다.

제안 방법

• 행렬 페르터베이션 이론을 사용하여 정규 행렬의 페르터베이션에 대해 유효한 경험적 스펙트럴 프로젝터에 대한 명시적 표현 공식을 유도한다.
• 생성 함수와 조합 항등식을 사용하여 투영 거리의 고차항 모멘트를 계산함으로써 기대 거리의 임의의 $ k $-번째 순서 근사를 가능하게 한다.
• 최적의 신호 대 잡음 비율 조건 하에서 투영 거리의 점근적 정규성을 달성하기 위해 $ \lceil \log(d_1 + d_2) \rceil $-번째 차수의 편향 보정을 적용한다.
• 모멘트 생성 함수와 에르미트 다항식 전개를 사용하여 유한 표본에서 투영 거리의 분포를 분석한다.
• 고유값 갭 조건을 요구하지 않고, 오직 신호 대 잡음 비율에 의존하여 정규 근사의 수렴 속도를 확립한다.
• 랜덤 행렬 이론과 스펙트럼 페르터베이션 기법을 사용하여 i.i.d. 노이즈 행렬 하에서 단일 하위공간의 행동을 분석한다.

실험 결과

연구 질문

• RQ1 i.i.d. 노이즈 하에서 경험적 및 진짜 단일 하위공간 간의 투영 거리에 대해 비점근 정규 근사를 확립할 수 있는가?
• RQ2 투영 거리의 점근적 정규성을 달성하기 위해 필요한 최적의 편향 보정 차수는 무엇인가?
• RQ3 정규 근사의 수렴 속도는 행렬 차원 $ d_1 $와 $ d_2 $ 및 랭크 $ r $에 따라 어떻게 달라지는가?
• RQ4 투영 거리의 편향 보정에서 고차항 근사를 피할 수 있는 조건은 무엇인가?
• RQ5 신호 대 잡음 비율은 정규 근사의 타당성과 정확도를 결정하는 데 어떤 역할을 하는가?

주요 결과

• 논문은 $ \lceil \log(d_1 + d_2) \rceil $-번째 차수의 편향 보정을 사용할 경우 최적의 신호 대 잡음 비율 조건 하에서 투영 거리의 점근적 정규성이 성립함을 증명한다.
• 기대 투영 거리는 생성 함수와 조합 항등식을 통해 유도된 명시적 공식을 통해 임의의 $ k $-번째 순서 근사를 갖는다.
• 정규 근사의 수렴 속도는 유한 표본에서 확립되어 결과가 비점근적이며 실용적으로 적용 가능하다.
• 이 방법은 랭크 $ r $가 $ o((d_1 + d_2)^{1/3}) $ 비율로 증가할 수 있도록 하며, 이는 주어진 노이즈 모델 하에서 최적이다.
• 고유값 갭 조건이 필요 없으며, 오직 신호 대 잡음 비율 조건만 필요하므로 이전 연구에 비해 가정을 크게 완화한다.
• 시뮬레이션 결과는 이론적 발견을 확인하며, 고차항 편향 보정이 정확도를 향상시키며 $ |d_1 - d_2| = O((d_1 + d_2)^{1/2}) $일 경우 고차항 근사는 불필요하다는 것을 보여준다.