[논문 리뷰] Heteroskedastic PCA: Algorithm, Optimality, and Applications

Anru R. Zhang, Tommaso Cai외 1명|arXiv (Cornell University)|2018. 10. 19.

Blind Source Separation Techniques인용 수 6

한 줄 요약

이 논문은 이종분산 잡음 하에서 주성분 분석을 위한 새로운 알고리즘인 HeteroPCA를 제안한다. 여기서 이종분산 잡음은 변수 간 분산이 다를 경우를 의미한다. 표본 공분산 행렬의 대각성분을 반복적으로 보정하여 편향을 수정함으로써 HeteroPCA는 일반화된 스파이크드 공분산 모형 하에서 증명 가능한 최적 추정을 달성하며, 강력한 단일 하위공간 섭동 분석을 통해 이론적 보장을 받는다.

ABSTRACT

A general framework for principal component analysis (PCA) in the presence of heteroskedastic noise is introduced. We propose an algorithm called HeteroPCA, which involves iteratively imputing the diagonal entries of the sample covariance matrix to remove estimation bias due to heteroskedasticity. This procedure is computationally efficient and provably optimal under the generalized spiked covariance model. A key technical step is a deterministic robust perturbation analysis on singular subspaces, which can be of independent interest. The effectiveness of the proposed algorithm is demonstrated in a suite of problems in high-dimensional statistics, including singular value decomposition (SVD) under heteroskedastic noise, Poisson PCA, and SVD for heteroskedastic and incomplete data.

연구 동기 및 목표

• 변수 간 이종분산 잡음이 존재할 경우 고전적 PCA의 일관성 결여 문제를 해결하기 위해.
• 이종분산으로 인한 표본 공분산 추정의 편향을 보정하는 계산적으로 효율적인 알고리즘을 개발하기 위해.
• 일반화된 스파이크드 공분산 모형 하에서 제안된 방법의 이론적 최적성 확립을 위해.
• 정규분포나 등방향성 잡음 가정 없이도 적용 가능한 단일 하위공간에 대한 결정론적 강력한 섭동 분석을 제공하기 위해.

제안 방법

• 이종분산 잡음으로 인한 편향을 줄이기 위해 비대각 성분 정보를 활용해 표본 공분산 행렬의 대각 성분을 반복적으로 갱신하는 HeteroPCA 알고리즘을 제안한다.
• 단일 하위공간에 대한 결정론적 강력한 섭동 분석을 사용하여 추정 오차의 이론적 한계를 유도한다.
• 이종분산 잡음 하에서의 SVD, 포아송 PCA, 이종분산이 존재하는 완전하지 않은 데이터와 같은 고차원 문제에 방법을 적용한다.
• 스펙트럼 노름과 프로베니우스 노름의 섭동을 제어하기 위해 넷 기반의 농도 불등식(예: ε-넷)을 활용한다.
• HeteroPCA의 최적성은 최소 최대 하한선과 일치함을 증명하기 위해 일치하는 최소 최대 하한선을 확립한다.
• 서브가우시안 尾 꼬리 한계와 행렬 농도 도구를 활용해 비구형 잡음 하에서 추정기의 행동을 분석한다.

Figure 1: Average $\sin\Theta$ loss versus sample size $n$ under the generalized spiked covariance model (Section 4.1 ). Upper panel: $r=3$ ; lower panel: $r=5$

실험 결과

연구 질문

• RQ1 변수 간 이종분산 잡음이 존재할 경우 고전적 PCA는 주성분을 일관되게 추정할 수 있는가?
• RQ2 이종분산 잡음으로 인한 표본 공분산 추정의 편향을 보정하는 계산적으로 효율적인 알고리즘이 존재하는가?
• RQ3 일반화된 스파이크드 공분산 모형 하에서 이종분산 잡음이 존재할 경우 주성분 하위공간의 최소 최대 추정 속도는 무엇인가?
• RQ4 정규분포나 등방향성 잡음 가정 없이도 단일 하위공간에 대한 강력한 섭동 한계를 어떻게 도출할 수 있는가?
• RQ5 HeteroPCA는 포아송 분포 데이터나 이종분산이 존재하는 완전하지 않은 데이터와 같은 실제 문제에 효과적으로 적용될 수 있는가?

주요 결과

• HeteroPCA는 이종분산 잡음이 존재하는 일반화된 스파이크드 공분산 모형 하에서 주성분 하위공간에 대해 최소 최대 최적 추정 속도를 달성한다.
• 변수 간 잡음 분산이 다를 경우 HeteroPCA는 주성분 하위공간 추정 정확도에서 고전적 PCA보다 뚜렷이 뛰어나다.
• 이론적 분석을 통해 제안된 방법이 로그 인자까지 최적임을 입증하며, 최소 최대 하한선과 일치함을 보였다.
• 단일 하위공간에 대한 새로운 결정론적 섭동 한계가 도출되었으며, 이는 PCA를 넘어서 독립적인 관심사가 된다.
• 포아송 PCA 및 이종분산이 존재하는 완전하지 않은 데이터에 대한 SVD에 대해 성공적으로 적용되었으며, 뛰어난 경험적 성능을 보였다.
• 고급 도구인 ε-넷 커버링 추론 및 서브가우시안 꼬리 한계를 사용하여 이론적 보장을 확립하였다.

(a) $p=50,n=30,r=5$