[논문 리뷰] Principal component analysis for big data

Jianqing Fan, Qiang Sun외 2명|arXiv (Cornell University)|2018. 01. 05.

Face and Expression Recognition참고 문헌 74인용 수 17

한 줄 요약

이 논문은 대용량 데이터를 위한 주성분 분석(PCA)의 최근 발전을 검토하며, 이론적 기초, 이상치 및 고차원성에 대한 강건성, 기계학습 및 통계적 추론 분야의 응용을 중심으로 다룬다. 이는 차원 축소, 요인 모델링, 비선형 다양체 학습의 핵심 도구로 PCA를 제시하며, 변화량 분석 및 공분산 추정을 통한 이론적 보장을 제공한다.

ABSTRACT

Big data is transforming our world, revolutionizing operations and analytics everywhere, from financial engineering to biomedical sciences. The complexity of big data often makes dimension reduction techniques necessary before conducting statistical inference. Principal component analysis, commonly referred to as PCA, has become an essential tool for multivariate data analysis and unsupervised dimension reduction, the goal of which is to find a lower dimensional subspace that captures most of the variation in the dataset. This article provides an overview of methodological and theoretical developments of PCA over the last decade, with focus on its applications to big data analytics. We first review the mathematical formulation of PCA and its theoretical development from the view point of perturbation analysis. We then briefly discuss the relationship between PCA and factor analysis as well as its applications to large covariance estimation and multiple testing. PCA also finds important applications in many modern machine learning problems, and we focus on community detection, ranking, mixture model and manifold learning in this paper.

연구 동기 및 목표

• 최근 10년간 대용량 데이터 분석의 맥락에서 PCA의 발전과 이론적 발전을 종합적으로 개괄하기 위해.
• 고차원성, 오염, 비선형성, 분산화와 같은 대용량 데이터가 초래하는 과제를 다루기 위해.
• 요인 분석, 공분산 추정, 다중 검정과 같은 관련 기법들과의 관계를 탐색하기 위해.
• 커뮤니티 탐지, 순위 매기기, 혼합 모델, 다양체 학습과 같은 현대 기계학습 응용에서 PCA의 역할을 검토하기 위해.
• 행렬 변화량 이론과 강건한 추정 기법을 활용하여 통계적 추론을 향상시키기 위한 이론적 기초를 확립하기 위해.

제안 방법

• 표본 공분산 행렬 bΣ의 상위 K개 고유벡터를 찾는 것으로 PCA를 정의하여 데이터를 분산을 대부분 유지하는 저차원 부분공간으로 투영한다.
• 스펙트럼 갭 조건 하에서 고유값 및 고유벡터의 오차를 제한하기 위해 행렬 변화량 이론—특히 Davis와 Kahan, Wedin의 sin Θ 정리—를 적용한다.
• 중심극한정리와 유사한 방식으로, 무거운 尾 또는 오염된 데이터를 다루기 위해 표본 공분산 행렬을 강건한 추정기로 대체함으로써 강건한 PCA를 도입한다.
• 기계학습에서의 비볼록 최적화 문제(예: 커뮤니티 탐지, 행렬 완성)를 볼록 유사 하위문제로 감소시키기 위해 스펙트럼 방법을 활용한다.
• 이중 중심화된 이질성 행렬의 고유분해를 이용해 고전적 및 일반화된 다차원 척도법(MDS)을 적용하여 데이터를 저차원 유클리드 공간에 매핑한다.
• 비선형 차원 축소를 가능하게 하면서 국소 기하학적 구조를 유지하기 위해 다양체 학습(예: LLE, ISOMAP)에서 국소 PCA와 유사도 행렬을 활용한다.

실험 결과

연구 질문

• RQ1 PCA는 어떻게 이론적으로 정당화되고 고차원, 대규모, 오염된 대용량 데이터를 다룰 수 있도록 확장될 수 있는가?
• RQ2 약한 신호 조건과 비정규 잡음 하에서 경험적 주성분의 통계적 성질은 무엇인가?
• RQ3 고차원 환경에서 PCA는 요인 분석 및 대규모 공분산 추정과 어떻게 관련되어 있는가?
• RQ4 PCA는 다양체나 혼합 모델과 같은 비선형 데이터 구조에 어떻게 적응될 수 있는가?
• RQ5 분산 또는 분산된 데이터 환경에서 PCA 기반 알고리즘의 이론적 성능 보장은 무엇인가?

주요 결과

• 행렬 변화량 이론은 고유값 및 고유벡터의 추정 오차에 엄밀한 경계를 제공하며, 스펙트럼 갭 조건 하에서 표본 공분산 행렬 bΣ의 주성분이 진짜 공분산 행렬 Σ의 주성분으로 수렴함을 보장한다.
• M-추정 또는 중앙값 기반 방법을 활용한 강건한 공분산 추정기로 공분산 행렬을 대체함으로써 강건한 PCA는 중앙극한 또는 이상치에 오염된 데이터에서 성능을 크게 향상시킨다.
• 분산 환경에서 PCA 기반 방법은 강력한 통계적 보장을 달성하며, Fan 등(2017)의 알고리즘은 여러 데이터 센터에서 일致성과 근사 최적 오차율을 보여준다.
• 다양체 학습에서 PCA는 LLE 및 ISOMAP와 같은 알고리즘의 기초 단계로 사용되며, 유사도 행렬의 고유분해를 통해 국소 및 전역적 매핑을 가능하게 한다.
• Wu와 Wu(2017)의 LLE 이론적 분석은 渐近 일致성 결과를 제공하여, 이전에 경험적 성능에 의존해 온 비선형 차원 축소에서의 적용을 정당화한다.
• 유전체학 및 금융 분야에서 신호를 유지하면서 차원을 축소함으로써 후속 분석에 유리한 조건을 제공하므로, 다중 검정 및 요인 모델링과 같은 고차원 추론 문제에서 PCA는 효과적임이 입증되었다.