[논문 리뷰] Principal Component Analysis and Higher Correlations for Distributed Data

Ravindran Kannan, Santosh Vempala외 1명|arXiv (Cornell University)|2013. 04. 10.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 12

한 줄 요약

이 논문은 다수의 서버에 분산 배치된 대규모 데이터 세트에서 분산 주성분 분석(PCA) 및 고차원 상관관계 추정을 위한 통신 효율적인 알고리즘을 제시한다. 랜덤 샘플링 및 근사 기법을 활용하여 통신 복잡도를 거의 최적 수준으로 달성함으로써, 데이터 크기에 대해 로그적으로만 증가하는 통신 복잡도를 확보함으로써, 상수 라운드 내에서 정확한 저질서 행렬 근사 및 상대 오차 보장을 갖는 일반화된 주파수 모멘트 추정이 가능해진다.

ABSTRACT

We consider algorithmic problems in the setting in which the input data has been partitioned arbitrarily on many servers. The goal is to compute a function of all the data, and the bottleneck is the communication used by the algorithm. We present algorithms for two illustrative problems on massive data sets: (1) computing a low-rank approximation of a matrix $A=A^1 + A^2 + \ldots + A^s$, with matrix $A^t$ stored on server $t$ and (2) computing a function of a vector $a_1 + a_2 + \ldots + a_s$, where server $t$ has the vector $a_t$; this includes the well-studied special case of computing frequency moments and separable functions, as well as higher-order correlations such as the number of subgraphs of a specified type occurring in a graph. For both problems we give algorithms with nearly optimal communication, and in particular the only dependence on $n$, the size of the data, is in the number of bits needed to represent indices and words ($O(\log n)$).

연구 동기 및 목표

• 데이터가 다수의 서버에 분할 배치된 경우 분산 PCA를 위한 통신 효율적인 알고리즘을 설계하는 것.
• 최소한의 통신으로 분산 환경에서 주파수 모멘트 및 서브그래프 수와 같은 일반화된 고차원 상관관계를 추정하는 것.
• 비음수성 및 함수의 초선형성과 같은 구조적 가정을 이용해 기존의 통신 복잡도 하한선을 극복하는 것.
• 오직 O(1)의 통신 라운드를 사용하여, 집계된 벡터 요소에 함수 f를 적용한 합의 상대 오차 근사치를 도출하는 것.
• 공간 복잡도를 다항식에서 선형으로 줄이면서도 낮은 통신량과 상수 라운드를 유지하는 것.

제안 방법

• 함수 f가 비음수이자 초선형 함수(지수 L)일 경우, 집계된 벡터 요소에 f를 적용한 합을 추정하기 위해 거부 샘플링과 중요도 샘플링을 사용한다.
• 두 단계 접근법을 도입한다: 먼저 작은 샘플을 이용해 총 합 A의 근사치를 추정하며, 이 추정치가 열악할 경우 정밀화 단계로 전환한다.
• 정밀화 단계에서는 f(∑a_ti)에 비례하는 분포에 따라 샘플링된 인덱스를 선택하고, 각 샘플링된 인덱스에 대해 서버의 균일한 샘플을 이용해 국소 기여도를 추정한다.
• 각 샘플링된 인덱스 i에 대해, 랜덤 서버 부분집합의 평균을 통해 f(∑a_ti)의 추정치를 계산하며, 다수의 시도에서의 중앙값을 사용해 분산을 감소시킨다.
• ρ_i = A_i / B_i 비율이 다양한 인덱스의 기여도를 추정하기 위해 기하학적으로 감소하는 β 간격에 걸쳐 계층적 β-샘플링 전략을 적용한다.
• 최종 추정치는 각 β-간격에 속한 샘플 인덱스의 비율을 사용해 각 간격의 기여도를 가중 평균화하여 총 합을 근사한다.

실험 결과

연구 질문

• RQ1 데이터 크기 n에 대해 로그적으로만 의존하는 통신 복잡도로 분산 행렬의 저질서 근사를 계산할 수 있는가?
• RQ2 주파수 모멘트나 서브그래프 수와 같은 고차원 상관관계를 거의 최적의 통신 복잡도로 분산 환경에서 추정할 수 있는가?
• RQ3 비음수 요소와 소수의 서버에 국한된 조건을 통해 k>2 주파수 모멘트에 대한 알려진 통신 복잡도 하한선을 극복할 수 있는가?
• RQ4 공간 복잡도를 O(n^k |W_t|)에서 O(n)으로 줄일 수 있는가? 이때 통신 복잡도는 낮고, 라운드 수는 상수여야 한다.
• RQ5 최소한의 통신으로 상수 라운드 알고리즘을 설계하여, ∑_i f(∑_t a_ti)를 (1±ε) 상대 오차 범위 내에서 추정할 수 있는가?

주요 결과

• 함수 f의 초선형 지수 L을 고려할 때, ∑_i f(∑_t a_ti)를 (1+ε) 상대 오차로 추정하기 위한 통신 복잡도는 O(s^{L-1}(ln s)^3 / ε^3) 단어이다.
• k차 주파수 모멘트(f(x)=x^k)의 경우 통신 비용은 O(s^{k-1}(ln s)^3 / ε^3)이며, 로그 인자 외에는 알려진 하한선과 일치한다.
• 알고리즘은 오직 O(1)의 통신 라운드를 사용하므로, 동기화가 제한된 대규모 분산 시스템에 적합하다.
• 거부 샘플링과 중앙값 기반 추정을 통해 공간 복잡도를 다항식에서 n에 대해 선형으로 줄였으며, 정확도는 유지한다.
• 음수 요소에 대한 이전의 불가능성 결과를 비음수성과 작은 s의 가정을 통해 극복하여, 저통신 솔루션을 가능하게 한다.
• 분석 결과 추정 오차가 곱셈 인자 e^ε 이내로 제한되며, 이는 고확률적으로 (1±ε) 상대 오차 보장을 보장한다.