[논문 리뷰] Communication-efficient Algorithms for Distributed Stochastic Principal Component Analysis

Dan Garber, Ohad Shamir외 1명|arXiv (Cornell University)|2017. 02. 27.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 22

한 줄 요약

이 논문은 통신 효율적인 분산 스토하스틱 PCA 알고리즘을 제안하며, 중심화된 ERM 솔루션과 유사한 추정 오차를 달성한다. 비볼록 PCA에서의 난이성 평균화의 실패를 해결하기 위해 신호 보정 방법을 도입하고, 분산 행렬-벡터 곱을 활용한 반복 알고리즘을 개발하여 통신 라운드 수를 최소화하면서 가속된 수렴을 달성한다.

ABSTRACT

We study the fundamental problem of Principal Component Analysis in a statistical distributed setting in which each machine out of $m$ stores a sample of $n$ points sampled i.i.d. from a single unknown distribution. We study algorithms for estimating the leading principal component of the population covariance matrix that are both communication-efficient and achieve estimation error of the order of the centralized ERM solution that uses all $mn$ samples. On the negative side, we show that in contrast to results obtained for distributed estimation under convexity assumptions, for the PCA objective, simply averaging the local ERM solutions cannot guarantee error that is consistent with the centralized ERM. We show that this unfortunate phenomena can be remedied by performing a simple correction step which correlates between the individual solutions, and provides an estimator that is consistent with the centralized ERM for sufficiently-large $n$. We also introduce an iterative distributed algorithm that is applicable in any regime of $n$, which is based on distributed matrix-vector products. The algorithm gives significant acceleration in terms of communication rounds over previous distributed algorithms, in a wide regime of parameters.

연구 동기 및 목표

• m台의 머신이 각각 동일분포에서 i.i.d.로 추출한 n개의 표본을 보유한 분산 환경에서 주성분을 추정하는 문제에 대응한다.
• PCA의 비볼록성으로 인해 국소 ERM 솔루션의 단순 평균화가 중심화된 ERM 성능을 달성하지 못하는 근본적인 한계를 극복한다.
• 비볼록 설정에서도 중심화된 ERM 수준의 추정 오차를 달성하는 통신 효율적인 알고리즘을 개발한다.
• 통신 횟수를 줄이기 위해 분산 행렬-벡터 곱 기반의 새로운 반복적 분산 알고리즘을 제안한다.
• 비제로 고유값 갭과 같은 온건한 가정 하에 일致성과 수렴 속도에 대한 이론적 보장을 제공한다.

제안 방법

• 국소 ERM 솔루션의 부호를 일치시켜 평균화 시 발생하는 상쇄 효과를 방지하기 위해 부호 보정 보정 단계를 제안한다.
• 시프트-인버트 방법과 조절된 선형 시스템 해법을 사용하여 주성분 벡터를 효율적으로 계산하는 반복 알고리즘을 도입한다.
• 각 라운드에 대해 머신당 O(d)의 통신만을 포함하도록 분산 행렬-벡터 곱을 활용하여 통신 횟수를 최소화한다.
• 확률적으로 높은 정확도로 이격된 선형 시스템의 해를 근사하기 위해 분산된 분산 감소 및 조절된 반복 해법을 적용한다.
• 로버스트성을 향상시키기 위해 국소 단위의 랭크-1 투영의 평균인 집계된 투영 행렬을 대안적 집계 전략으로 사용한다.
• 집중화된 ERM 솔루션과의 추정 오차 및 통신 복잡도에 대한 이론적 경계를 농도 불등식과 스펙트럼 갭 가정을 통해 수립한다.

실험 결과

연구 질문

• RQ1 분산 PCA에서 국소 ERM 솔루션의 단순 평균화가 중심화된 ERM 수준의 추정 오차를 달성할 수 있는가?
• RQ2 비볼록성으로 인해 평균화가 실패할 경우, 일관성을 회복하기 위한 보정 메커니즘은 무엇인가?
• RQ3 더 적은 통신 획수를 가진 반복적 분산 알고리즘이 기존 방법보다 더 빠른 수렴을 달성할 수 있는가?
• RQ4 각 머신의 표본 수 n에 따라 제안된 집계 방법(부호 보정 및 투영 평균화)의 성능 스케일링은 어떻게 되는가?
• RQ5 분산 스토하스틱 PCA에서 중심화된 ERM 수준의 정확도를 달성하기 위한 통신 복잡도는 얼마인가?

주요 결과

• 비볼록성과 부호 모호성으로 인해, 단순 평균화는 많은 머신을 사용하더라도 단일 머신의 추정 오차를 초과하지 못한다.
• 제안된 부호 보정 보정은 n이 충분히 클 경우 중심화된 ERM 솔루션에 가까운 추정 오차를 달성하는 일관성 있는 추정을 가능하게 한다.
• 반복적 분산 알고리즘은 Õ(1/√(δ√n))회의 통신 라운드로 통신 복잡도를 달성하여, 넓은 매개변수 영역에서 기존 방법보다 크게 향상된다.
• 실험 결과, 투영 평균화 집계 방법이 부호 보정을 능가하고 점점 중심화된 ERM 정확도에 도달함을 보였다.
• 정규분포 및 균일분포를 포함한 다양한 데이터 분포에서 일관된 성능 향상을 보이며, 단순 평균화보다 뛰어난 성능을 기록했다.
• 이론적 분석을 통해 알고리즘이 고확률적으로 중심화된 ERM 솔루션과의 추정 오차를 O(√(ln(d/p)/(δ√n))) 이내로 유지함을 확인했다.