[논문 리뷰] Communication-optimal Distributed Principal Component Analysis in the Column-partition Model.

Christos Boutsidis, David P. Woodruff|arXiv (Cornell University)|2015. 04. 25.

Stochastic Gradient Optimization Techniques참고 문헌 30인용 수 9

한 줄 요약

이 논문은 컬럼 분할 모델에서 분산 주성분 분석(distributed PCA)을 위한 통신 최적화 알고리즘을 제안한다. 이 알고리즘은 기계 간 데이터 전송을 최소화하면서 $(1+\epsilon)$-근사 저질서 근사 분해를 달성한다. 무작위 부분공간 샘플링과 효율적인 행렬 스케칭 기법을 활용하여 통신 비용을 감소시키며, 이론적 정확도 및 통신 효율성 보장을 바탕으로 거의 최적의 성능을 달성한다.

ABSTRACT

We study the Principal Component Analysis (PCA) problem in the distributed and streaming models of computation. Given a matrix $A \in R^{m imes n},$ a rank parameter $k < rank(A)$, and an accuracy parameter $0 < \epsilon < 1$, we want to output an $m imes k$ orthonormal matrix $U$ for which $$ || A - U U^T ||_F^2 \le \left(1 + \epsilon ight) \cdot || A - A_k||_F^2, $$ where $A_k \in R^{m imes n}$ is the best rank-$k$ approximation to $A$. This paper provides improved algorithms for distributed PCA and streaming PCA.

연구 동기 및 목표

• 기계 간 통신 비용을 최소화하면서도 높은 정확도를 유지하는 분산 PCA 알고리즘을 설계하기.
• 최소한의 데이터 이동으로 행렬 $A$의 최적의 질서-$k$ 근사 분해에 대해 $(1+\epsilon)$-근사를 달성하기.
• 확장 가능한 분산 환경에서 분산 PCA의 통신 및 정확도에 대한 이론적 경계를 제공하기.
• 통신이 핵심 병목 현상이 되는 대규모 데이터 시스템에 PCA의 적용 범위를 넓히기.

제안 방법

• 알고리즘은 차원이 감소한 데이터 행렬 $A$의 스케치를 구성하기 위해 무작위 부분공간 샘플링을 사용한다.
• 데이터를 압축하면서 정확한 저질서 근사 분해에 필요한 구조를 유지하기 위해 행렬 스케칭 기법을 적용한다.
• 행렬 $A$를 다수의 기계에 따라 열 기반으로 분할하고, 국지적 계산을 수행한 후 최소한의 통신을 수행한다.
• 강력한 농도 부등식을 활용하여 스케치가 $\epsilon$-상대 오차 내에서 주요 특이 부분공간을 포괄하도록 보장한다.
• 최종 또는thonormal 행렬 $U$는 스케치된 데이터에서 계산되어 $||A - UU^T||_F^2 \le (1+\epsilon) \cdot ||A - A_k||_F^2$ 를 만족시킨다.

실험 결과

연구 질문

• RQ1 컬럼 분할 모델에서 $(1+\epsilon)$-근사 PCA를 계산하기 위해 필요한 최소한의 통신량은 얼마인가?
• RQ2 무작위 스케칭을 어떻게 활용하여 분산 PCA에서 거의 최적의 통신 복잡도를 달성할 수 있는가?
• RQ3 분산 노드 간의 데이터 이동을 최소화하면서도 알고리즘이 $(1+\epsilon)$-정확도를 유지할 수 있는가?
• RQ4 이 분산 환경에서 통신 비용과 근사 오차에 대해 수립할 수 있는 이론적 경계는 무엇인가?

주요 결과

• 제안된 알고리즘은 기계 수에 대한 상대적으로 로그 인자 수준에서 최적의 통신 복잡도를 달성한다.
• 높은 확률로 $A$의 최적의 질서-$k$ 근사 분해에 대해 $(1+\epsilon)$-근사를 보장한다.
• 특히 대규모 분산 시스템에서 이전 방법 대비 데이터 전송을 크게 감소시킨다.
• 이론적 분석을 통해 알고리즘이 정확도를 유지하면서도 통신을 최소화함으로써 빅데이터 워크로드에 적합함을 확인한다.