[논문 리뷰] PCA from noisy, linearly reduced data: the diagonal case

Edgar Dobriban, William Leeb외 1명|arXiv (Cornell University)|2016. 11. 30.

Sparse and Compressive Sensing Techniques참고 문헌 40인용 수 5

한 줄 요약

이 논문은 데이터가 노이즈에 의해 오염되고 알려진 대각 행렬을 통해 선형으로 압축되는 경우(예: 누락 데이터 또는 디컨볼루션 문제에서와 같이) 주성분 분석(PCA)에 대한 최적의 수축 방법을 개발한다. 고차원 점근 이론을 통해 특이값과 특이벡터의 행동을 분석하고, 공분산 추정과 노이즈 제거를 위한 최적의 고유값 및 특이값 수축을 도출하며, 최적의 선형 예측자(Best Linear Predictor)의 튜닝은 표본 내(in-sample)와 표본 외(out-of-sample)에서 다를 수 있으나, 이 둘의 최소 평균제곱오차는 동일하다는 것을 보여준다.

ABSTRACT

Suppose we observe data of the form $Y_i = D_i (S_i + \varepsilon_i) \in \mathbb{R}^p$ or $Y_i = D_i S_i + \varepsilon_i \in \mathbb{R}^p$, $i=1,\ldots,n$, where $D_i \in \mathbb{R}^{p imes p}$ are known diagonal matrices, $\varepsilon_i$ are noise, and we wish to perform principal component analysis (PCA) on the unobserved signals $S_i \in \mathbb{R}^p$. The first model arises in missing data problems, where the $D_i$ are binary. The second model captures noisy deconvolution problems, where the $D_i$ are the Fourier transforms of the convolution kernels. It is often reasonable to assume the $S_i$ lie on an unknown low-dimensional linear space; however, because many coordinates can be suppressed by the $D_i$, this low-dimensional structure can be obscured. We introduce diagonally reduced spiked covariance models to capture this setting. We characterize the behavior of the singular vectors and singular values of the data matrix under high-dimensional asymptotics where $n,p o\infty$ such that $p/n oγ>0$. Our results have the most general assumptions to date even without diagonal reduction. Using them, we develop optimal eigenvalue shrinkage methods for covariance matrix estimation and optimal singular value shrinkage methods for data denoising. Finally, we characterize the error rates of the empirical Best Linear Predictor (EBLP) denoisers. We show that, perhaps surprisingly, their optimal tuning depends on whether we denoise in-sample or out-of-sample, but the optimally tuned mean squared error is the same in the two cases.

연구 동기 및 목표

• 누락 데이터 또는 디컨볼루션 문제와 같이 알려진 대각선 행렬에 의해 선형으로 압축되고 노이즈가 섞인 신호에서 PCA를 수행하는 데 도전하는 문제를 다루는 것.
• 이러한 압축 조건 하에서 공분산 행렬 추정과 데이터 노이즈 제거를 위한 최적의 고유값 및 특이값 수축 방법을 개발하는 것.
• n, p → ∞ 이면서 p/n → γ > 0 인 고차원 설정에서 특이벡터와 특이값의 점근적 행동을 규명하는 것.
• 표본 내 및 표본 외에서의 노이즈 제거를 구분하면서, 노이즈 제거 성능을 분석하는 경험적 최적선형예측자(EBLP)의 성능을 분석하는 것.

제안 방법

• 고차원 신호 복원에서 노이즈와 대각선 선형 압축의 상호작용을 모델링하기 위해 대각선으로 압축된 스팼드 공분산 모델을 제안한다.
• 원래 신호가 저차원 부분공간에 존재한다는 가정 하에, 데이터 행렬의 특이값과 특이벡터에 대한 고차원 점근적 극한을 유도한다.
• 확률적 행렬 이론과 행렬 역행렬 차분 공식을 사용하여, 점근적 설정 하에서 관측된 공분산이 결정론적 등가로 수렴함을 보여준다.
• 점근적 스펙트럼 행동에 기반하여, 공분산 추정을 위한 최적의 고유값 수축과 노이즈 제거를 위한 최적의 특이값 수축을 개발한다.
• 표본 내 및 표본 외 설정에서의 평균제곱오차를 분석하여 경험적 최적선형예측자(EBLP)의 최적 튜닝을 유도한다.
• 표본 내와 표본 외에서 최적 튜닝 파rameter는 다를 수 있으나, 그 결과로 얻는 최소 평균제곱오차는 점근적으로 동일하다는 것을 입증한다.

실험 결과

연구 질문

• RQ1 노이즈와 대각선 선형 압축이 동시에 존재할 때, 압축된 데이터 행렬의 특이값과 특이벡터는 점근적으로 어떻게 행동하는가?
• RQ2 노이즈가 섞이고 압축된 관측치로부터 원래 신호의 공분산 행렬을 추정하기 위한 최적의 고유값 수축 규칙은 무엇인가?
• RQ3 압축되고 노이즈가 섞인 데이터로부터 원래 신호를 노이즈 제거하기 위한 최적의 특이값 수축 규칙은 무엇인가?
• RQ4 경험적 최적선형예측자(EBLP)의 성능은 표본 내 노이즈 제거와 표본 외 노이즈 제거에서 어떻게 달라지는가?
• RQ5 EBLP가 도달할 수 있는 최소 평균제곱오차는 표본 내와 표본 외 노이즈 제거 시나리오에서 동일한가?

주요 결과

• 압축된 데이터 행렬의 특이값과 특이벡터의 점근적 분포는 신호 대 노이즈 비율과 압축 행렬의 성질에 따라 결정되는 결정론적 극한으로 수렴한다.
• 공분산 추정을 위한 최적의 고유값 수축 규칙은 점근적 스펙트럼 분포에서 유도되며, 고차원 점근적 설정 하에서 일致성(consistency)을 보인다.
• 노이즈 제거를 위한 최적의 특이값 수축 방법은 고차원 극한에서 가능한 최소 평균제곱오차를 달성한다.
• 표본 내와 표본 외 노이즈 제거에서 최적의 EBLP 튜닝 파rameter는 다를 수 있으나, 그 결과로 얻는 최소 평균제곱오차는 점근적으로 동일하다.
• 분산이 퍼져 있는 신호 하에서 경험적 공분산과 이론적 공분산의 점근적 동치성에 기반하여, EBLP가 최적의 노이즈 제거자로 수렴함을 입증한다.
• 이 논문은 노이즈가 섞이고 데이터가 압축된 설정에서의 PCA에 대한 엄밀한 이론적 기반을 제공하며, 최적의 수축 및 예측 성능에 대한 명시적 공식을 제시한다.