[논문 리뷰] Improved Distributed Principal Component Analysis

Maria-Florina Balcan, Vandana Kanchanapally외 2명|arXiv (Cornell University)|2014. 08. 25.

Neural Networks and Applications참고 문헌 6인용 수 65

한 줄 요약

이 논문은 k-means 클러스터링 및 관련 ℓ₂-피팅 문제에서 통신 비용을 O(skd/ε³)에서 O(skd/ε²)로 감소시키면서도 (1+ε)-근사 해의 정확도를 유지하는 통신 효율적인 분산 PCA 알고리즘을 제안한다. 새로운 가까운 투영 성질과 무작위 부분공간 통합 기법을 도입하여 정확도를 희생시키지 않은 채 상당한 속도 향상을 이룬다. 실제 데이터셋을 대상으로 검증되었으며, 계산 속도가 최대 100배 빨라졌다.

ABSTRACT

We study the distributed computing setting in which there are multiple servers, each holding a set of points, who wish to compute functions on the union of their point sets. A key task in this setting is Principal Component Analysis (PCA), in which the servers would like to compute a low dimensional subspace capturing as much of the variance of the union of their point sets as possible. Given a procedure for approximate PCA, one can use it to approximately solve $\ell_2$-error fitting problems such as $k$-means clustering and subspace clustering. The essential properties of an approximate distributed PCA algorithm are its communication cost and computational efficiency for a given desired accuracy in downstream applications. We give new algorithms and analyses for distributed PCA which lead to improved communication and computational costs for $k$-means clustering and related problems. Our empirical study on real world data shows a speedup of orders of magnitude, preserving communication with only a negligible degradation in solution quality. Some of these techniques we develop, such as a general transformation from a constant success probability subspace embedding to a high success probability subspace embedding with a dimension and sparsity independent of the success probability, may be of independent interest.

연구 동기 및 목표

• 대규모 데이터 분석을 위한 기존 분산 PCA 프로토콜의 높은 통신 및 계산 비용을 해결한다.
• 분산 k-means 클러스터링 및 ℓ₂-피팅 문제에서 차원 축소 단계를 개선하여 통신 오버헤드를 감소시킨다.
• 실용적이고 확장 가능한 알고리즘을 개발하여 분산 환경에서 런타임을 극적으로 단축하면서도 높은 솔루션 품질을 유지한다.
• 전체 SVD를 각 서버에서 수행하지 않고도 글로벌 PCA를 효율적으로 근사할 수 있도록 하는 새로운 이론적 성질인 '가까운 투영'을 도입한다.

제안 방법

• 통신 비용이 O(skd/ε²)인 새로운 분산 PCA 프로토콜을 제안하며, 알고리즘 disPCA를 통해 O(k/ε²) 개의 벡터를 계산한다.
• 가까운 투영 성질을 도입: 계산된 부분공간에 대한 전역 데이터의 투영은 어떤 k차원 부분공간에 대한 투영과도 밀접하게 근사된다.
• 성공 확률에 독립적인 차원과 흐린도를 갖는 고성공 확률 통합으로의 일반적 변환을 사용한다.
• 무작위 SVD 및 부분공간 통합 기법을 활용하여 계산 속도를 가속화하면서도 정확도를 유지한다.
• 각 서버에서 로컬 PCA를 계산하고, 코ordinating 서버가 가까운 투영 성질을 이용해 결과를 통합하는 분산 프레임워크를 설계한다.
• 스타 네트워크 토폴로지와 서버 간 가중치 기반 데이터 분할을 사용하여 실제 데이터셋에서 알고리즘을 구현하고 평가한다.

실험 결과

연구 질문

• RQ1 k-means 클러스터링을 위한 분산 PCA의 통신 비용을 O(skd/ε³) 이하로 낮출 수 있는가? 이때 솔루션 품질은 손상되지 않는다.
• RQ2 가까운 투영 성질을 통해 전체 SVD를 사용하지 않고도 O(k/ε²)개의 글로벌 벡터만으로도 (1+ε)-근사 해를 확보할 수 있는가?
• RQ3 무작위 기법을 통해 분산 PCA에서 계산 시간을 상당히 감소시킬 수 있는가? 이때 정확도는 거의 최적에 가깝게 유지된다.
• RQ4 BOWpubmed와 같이 820만 개의 샘플과 14만 개의 특성을 가진 대규모 데이터셋에서 제안된 방법은 어떻게 확장 가능한가?
• RQ5 속도 향상 기법이 저질서 근사, k-means, PCR 작업에서 솔루션 품질을 얼마나 떨어뜨리는가?

주요 결과

• 제안된 알고리즘은 통신 비용을 O(skd/ε³)에서 O(skd/ε²)로 감소시켜 ε에 대한 의존도에서 제곱 개선을 이룬다.
• NewsGroups 데이터셋에서 빠른 분산 PCA는 표준 분산 PCA 대비 10~100배 빠른 성능을 보였으며, 정확도 손실는 거의 없었다.
• 대규모 BOWpubmed 데이터셋(820만 개 샘플)에서는 표준 PCA가 24시간 이내에 완료되지 못했지만, 빠른 버전은 합리적인 시간 내에 고품질 결과를 생성했다.
• 모든 데이터셋과 투영 차원에서 저질서 근사, k-means 클러스터링, PCR의 오차 비율이 기준 SVD 솔루션과 유사했다.
• 무작위 SVD 및 부분공간 통합 기법을 사용함으로써 런타임은 크게 감소했고, 솔루션 품질은 허용 가능한 오차 범위 내에서 유지되었다.
• 가까운 투영 성질은 투영된 데이터에 대해 어떤 k차원 부분공간 근사도 글로벌 문제에 대해 (1+ε)-근사 해를 보장한다.