[논문 리뷰] Distributed Estimation of Principal Eigenspaces

Jianqing Fan, Dong Wang외 2명|arXiv (Cornell University)|2017. 02. 21.

Random Matrices and Applications참고 문헌 46인용 수 26

한 줄 요약

이 논문은 각 기계가 상위 K 고유벡터를 계산하고 이를 중앙 서버에 전송하여 전역 주성분 공간을 추정하는 분산 PCA 알고리즘을 제안한다. 주요 기여는 대칭적 인노베이션 분포 하에서 추정기가 비편향이 되며, 기계 수가 과도하게 크지 않은 경우 전체 샘플 PCA와 동일한 통계적 속도를 달성함을 보여주는 것이다.

ABSTRACT

Principal component analysis (PCA) is fundamental to statistical machine learning. It extracts latent principal factors that contribute to the most variation of the data. When data are stored across multiple machines, however, communication cost can prohibit the computation of PCA in a central location and distributed algorithms for PCA are thus needed. This paper proposes and studies a distributed PCA algorithm: each node machine computes the top $K$ eigenvectors and transmits them to the central server; the central server then aggregates the information from all the node machines and conducts a PCA based on the aggregated information. We investigate the bias and variance for the resulting distributed estimator of the top $K$ eigenvectors. In particular, we show that for distributions with symmetric innovation, the empirical top eigenspaces are unbiased and hence the distributed PCA is "unbiased". We derive the rate of convergence for distributed PCA estimators, which depends explicitly on the effective rank of covariance, eigen-gap, and the number of machines. We show that when the number of machines is not unreasonably large, the distributed PCA performs as well as the whole sample PCA, even without full access of whole data. The theoretical results are verified by an extensive simulation study. We also extend our analysis to the heterogeneous case where the population covariance matrices are different across local machines but share similar top eigen-structures.

연구 동기 및 목표

• 통신, 개인정보 보호 또는 보안 제약으로 인해 전체 데이터 융합이 불가능한 거대하고 분산된 데이터셋에서 PCA를 수행하는 데 도전하는 것.
• 반복적 통신을 피하기 위해 단회 접근법을 사용하는 통신 효율적인 분산 PCA 알고리즘을 개발하는 것.
• 일반적인 서브가우시안 및 대칭적 인노베이션 가정 하에서 상위 K 고유공간에 대한 분산 추정기의 편향과 분산을 이론적으로 분석하는 것.
• 분산 PCA 추정기가 전체 샘플 PCA와 동일한 통계적 수렴 속도를 달성할 수 있는 조건을 설정하는 것.
• 국소 공분산 행렬이 다를 수 있지만 상위 고유구조는 유사한 이질적 환경으로 분석을 확장하는 것.

제안 방법

• m대의 로컬 기계 각각이 자신의 부분표본에서 국소 표본 공분산 행렬의 상위 K 고유벡터를 계산한다.
• 각 기계는 원시 데이터가 아닌 상위 K 고유벡터만 중앙 서버에 전송하여 통신 비용을 최소화한다.
• 중앙 서버는 전송된 고유벡터의 외적 곱의 가중 평균을 형성하여 고유벡터를 융합한다.
• 최종 추정기는 융합된 행렬의 상위 K 고유벡터를 계산하여 도출되며, 이는 단회 분산 PCA를 나타낸다.
• 이론적 분석은 서브가우시안 및 대칭적 인노베이션 가정 하에서 고유값과 고유공간에 대한 농도 부등식과 변동성 경계에 기반한다.
• 국소 공분산 행렬을 공통된 상위 고유구조를 가지지만 낮은 질서의 성분은 다를 수 있도록 모델링하여 이질적 환경으로의 확장을 수행한다.

실험 결과

연구 질문

• RQ1 대칭적 인노베이션 분포를 가진 분포에서, 특히 경험적 고유공간에 대해 분산 PCA 추정기가 언제 비편향이 되는가?
• RQ2 분산 추정기의 통계적 성능은 기계 수, 유효 질서수, 고유값 갭, 총 표본 크기에 어떻게 의존하는가?
• RQ3 전체 데이터에 접근할 수 없더라도 단회 분산 PCA가 전체 샘플 PCA와 동일한 수렴 속도를 달성할 수 있는가?
• RQ4 기계 수가 합리적인 한계를 초과할 경우 성능은 어떻게 저하되는가?
• RQ5 통계적 정확성을 유지하면서 국소 공분산 구조의 이질성에 얼마나 잘 대응할 수 있는가?

주요 결과

• 대칭적 인노베이션을 가진 분포에서는 경험적 상위 고유공간이 비편향이므로, 분산 PCA 추정기는 조건 없이 비편향이다.
• 분산 추정기의 수렴 속도는 공분산의 유효 질서수, 고유값 갭, 기계 수에 명시적으로 의존한다.
• 기계 수가 과도하게 크지 않은 경우, 전체 데이터셋에 접근하지 못하더라도 분산 PCA는 전체 샘플 PCA와 동일한 통계적 성능을 달성한다.
• 시뮬레이션 결과는 하위표본 크기 n이 충분히 크다면 m이 증가함에 따라 통계 오차가 안정되며, m이 임계값을 초과할 경우 약간의 성능 저하가 발생함을 확인한다 (log m ≥ 5).
• 각 기계에서 K개의 고유벡터만 전송하더라도 전체 샘플 PCA와 유사한 성능을 보이며, 이는 높은 통신 효율성을 의미한다.
• 추가로 5개의 상위 고유벡터를 통신하는 DP5로 확장해도 성능 향상이 미미하여, K개의 고유벡터만으로도 최적 성능을 달성할 수 있음을 확인한다.