[논문 리뷰] Optimally Weighted PCA for High-Dimensional Heteroscedastic Data

David Hong, Yang, Fan외 2명|arXiv (Cornell University)|2018. 10. 30.

Blind Source Separation Techniques참고 문헌 1인용 수 12

한 줄 요약

이 논문은 표본 간 노이즈 분산이 다양한 고차원 이방성 데이터를 위한 최적 가중치를 가진 주성분 분석(PCA)을 제안한다. 노이즈 분산이 표본에 따라 달라지는 조건에서, 최적의 가중치는 신호 및 노이즈 분산의 단순한 함수로 유도되며, 놀랍게도 일반적으로 사용되는 역노이즈 분산이 아니다. 시뮬레이션과 실제 천문학적 데이터에서 우수한 성능을 보이며, 고차원 渐近적 영역에서 기존의 가중치 부여 방법보다 뛰어난 성능을 보인다.

ABSTRACT

Modern data are increasingly both high-dimensional and heteroscedastic. This paper considers the challenge of estimating underlying principal components from high-dimensional data with noise that is heteroscedastic across samples, i.e., some samples are noisier than others. Such heteroscedasticity naturally arises, e.g., when combining data from diverse sources or sensors. A natural way to account for this heteroscedasticity is to give noisier blocks of samples less weight in PCA by using the leading eigenvectors of a weighted sample covariance matrix. We consider the problem of choosing weights to optimally recover the underlying components. In general, one cannot know these optimal weights since they depend on the underlying components we seek to estimate. However, we show that under some natural statistical assumptions the optimal weights converge to a simple function of the signal and noise variances for high-dimensional data. Surprisingly, the optimal weights are not the inverse noise variance weights commonly used in practice. We demonstrate the theoretical results through numerical simulations and comparisons with existing weighting schemes. Finally, we briefly discuss how estimated signal and noise variances can be used when the true variances are unknown, and we illustrate the optimal weights on real data from astronomy.

연구 동기 및 목표

• 고차원 데이터에서 이방성 노이즈가 존재할 경우 기존 PCA의 성능 저하 문제를 해결하기 위해.
• 기저 주성분의 추정 오차를 최소화하는 가중치 주성분 분석(PCA)을 위한 최적의 가중치를 도출하기 위해.
• 고차원 渐近적 가정 하에 이론적으로 탄탄한, 신호 및 노이즈 분산의 단순한 함수로 정의된 최적 가중치를 유도하기 위해.
• 시뮬레이션과 실제 데이터 분석을 통해 제안된 최적 가중치가 기존 방법보다 주성분 분석 성능을 크게 향상시킨다는 것을 입증하기 위해.

제안 방법

• 노이즈 수준에 따라 표본 블록에 가중치를 할당하는 가중 표본 공분산 행렬을 사용하여 가중 PCA를 수립한다.
• 독립 동일분포(sub-Gaussian) 노이즈를 가정하고, 고차원 渐近적 영역(n, p → ∞, p/n → c ∈ (0, ∞))에서 최적 가중치를 해석적으로 유도한다.
• 무작위 행렬 이론을 사용하여 가중 표본 공분산 행렬의 고유벡터 및 고유값의 渐近적 행동을 특성화한다.
• 최적 가중치가 노이즈 분산의 역수는 아니지만, 신호 및 노이즈 분산에 의존한다는 것을 보여준다. 이는 일반적인 관행과 반대된다.
• 진짜 신호 및 노이즈 분산이 알려지지 않은 경우 표본 분산을 사용한 실용적인 추정 전략을 제안한다.
• 수치적 시뮬레이션과 슬론 디지털 스카이 서베이(Sloan Digital Sky Survey)의 초성운 스펙트럼 데이터를 이용한 실제 데이터 분석을 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 데이터가 고차원적이고 표본 간 이방성일 경우, 가중 PCA에 대한 최적의 가중치는 무엇인가?
• RQ2 고차원 근사에서 최적 가중치는 기저의 신호 및 노이즈 분산과 어떻게 관련이 있는가?
• RQ3 왜 널리 사용되는 역노이즈 분산 가중치가 최적 성능을 달성하지 못하는가?
• RQ4 현실적인 고차원 설정에서 유한 표본 최적 가중치에 비해 渐近적 최적 가중치는 얼마나 가까운가?
• RQ5 진짜 분산이 알려지지 않은 경우 추정된 신호 및 노이즈 분산을 효과적으로 사용할 수 있는가?

주요 결과

• 최적 가중치는 신호 및 노이즈 분산의 단순한 함수이지만, 일반적으로 사용되는 역노이즈 분산은 아니다.
• 고차원 渐近적 영역에서 최적 가중치는 신호 분산 대 노이즈 분산의 비율에 따라 닫힌 형태의 표현식으로 수렴한다.
• 수치적 시뮬레이션 결과, 차원이 클 경우 渐近적 최적 가중치가 종종 유한 표본 최적 가중치에 가까워진다.
• 제안된 최적 가중치는 주성분 추정 정확도 측면에서 균일 가중치 및 역분산 가중치 부여 방법보다 뛰어나다.
• 시뮬레이션 결과, 기존 방법보다 더 넓은 범위의 설정에서 비영의 渐近적 성능을 달성한다.
• 실제 초성운 스펙트럼 데이터에서 최적 가중치는 이질적인 데이터 소스를 효과적으로 통합하여, 표준 PCA 및 다른 가중치 전략보다 주성분 복원 성능을 향상시킨다.