[논문 리뷰] Optimal Principal Component Analysis in Distributed and Streaming Models

Christos Boutsidis, David P. Woodruff외 1명|arXiv (Cornell University)|2015. 04. 25.

Sparse and Compressive Sensing Techniques참고 문헌 39인용 수 4

한 줄 요약

이 논문은 분산 및 스트리밍 환경에서 주성분 분석(PCA)을 위한 최적의 통신 및 공간 효율적인 알고리즘을 제안한다. 희소성의 특성을 활용하여 분산 모델에서 거의 최적의 통신 범위를 달성하며, 높은 정밀도 PCA에 대한 통신 복잡도와 공간 복잡도에 대한 열린 질문을 해결하는 공간 효율적이고 단일 패assing 스트리밍 알고리즘을 제공한다.

ABSTRACT

We study the Principal Component Analysis (PCA) problem in the distributed and streaming models of computation. Given a matrix $A \in R^{m imes n},$ a rank parameter $k < rank(A)$, and an accuracy parameter $0 < ε< 1$, we want to output an $m imes k$ orthonormal matrix $U$ for which $$ || A - U U^T A ||_F^2 \le \left(1 + ε ight) \cdot || A - A_k||_F^2, $$ where $A_k \in R^{m imes n}$ is the best rank-$k$ approximation to $A$. This paper provides improved algorithms for distributed PCA and streaming PCA.

연구 동기 및 목표

• 기계 간 데이터 전송을 최소화하면서도 고정밀도 저질서 근사치를 유지하는 분산 PCA에서의 통신 병목 현상을 해결한다.
• 임의의 분할 모델에서 높은 정밀도 PCA에 대한 최적의 통신 복잡도에 대한 열린 질문을 해결한다.
• 최소한의 메모리 사용량을 갖는 공간 효율적인 스트리밍 알고리즘을 설계하여, 특히 턴스타일 및 컬럼 도착 모델에서 효율적인 사용을 가능하게 한다.
• 희소성 제약 조건 하에서 분산 컬럼 서브셋 선택의 통신 하한을 확립한다.
• 낮은 질서 근사치와 해를 나타내는 컬럼 서브셋을 동시에 출력하는 프로토콜을 제공하여, 후속 처리에 효율적으로 활용할 수 있도록 한다.

제안 방법

• ε에 대한 종속성과 m을 분리함으로써 이전의 O(skm/ε)보다 개선된 O(skm) + poly(sk/ε) 단어의 통신 최적 프로토콜을 임의의 분할 모델에 제안한다.
• 컬럼 희소성 φ를 활용하여 컬럼 분할 모델에서 O(skφ/ε) + poly(sk/ε) 단어의 통신을 달성하는 희소 컬럼 기반 프로토콜을 도입한다. 이는 행렬 차원과 무관하게 작동한다.
• O(km) + poly(k/ε) 단어의 공간을 사용하는 두 번의 패assing 스트리밍 알고리즘을 설계하여, 알려진 Ω(km/ε) 비트 하한과 거의 일치한다.
• 턴스타일 스트림에 이 알고리즘을 적응시켜 O((m+n)kε⁻¹) 단어의 공간을 사용하며, 이는 이전의 O((m+n)ε⁻²kε⁻²) 범위를 개선하고 알려진 하한과 일치한다.
• 정보 이론적 접근과 조건부 엔트로피를 활용하여, 유한한 요소를 가진 행렬의 어려운 분포로의 감소를 통해 하한을 증명한다.
• 희소 행렬의 구조와 컬럼 서브셋 선택의 특성을 활용하여, 각 기계가 해 부분공간을 생성하는 O(k/ε)개의 컬럼 세트를 출력함을 보장한다.

실험 결과

연구 질문

• RQ1 임의의 분할 모델에서 분산 PCA의 최적 통신 복잡도는 무엇이며, ε 항에서 m에 대한 의존성을 제거할 수 있는가?
• RQ2 컬럼이 희소할 경우 컬럼 분할 모델에서 통신이 행렬 차원에 영향을 받지 않도록 할 수 있는가?
• RQ3 일정한 수의 패assing을 갖는 스트리밍 PCA의 최적 공간 복잡도는 무엇이며, 최소한의 공간으로 달성 가능한가?
• RQ4 희소성 φ와 정밀도 ε에 따라 분산 컬럼 서브셋 선택의 통신 복잡도는 어떻게 변화하는가?
• RQ5 입력 행렬의 조건수에 의존하지 않는 공간 효율적인 스트리밍 알고리즘을 턴스타일 데이터 스트림에 대해 설계할 수 있는가?

주요 결과

• 논문은 임의의 분할 모델에서 분산 PCA에 대해 Ω(skm)의 하한을 확립하여, 제안된 프로토콜의 통신 비용과 하위항을 제외한 측면에서 일치함을 보였다.
• 각 컬럼에 φ개의 비영 요소를 갖는 희소 행렬의 경우, 프로토콜은 O(skφ/ε) + poly(sk/ε) 단어의 통신을 달성하며, 이는 최적이며 m과 n에 영향을 받지 않는다.
• 두 번의 패assing 스트리밍 알고리즘은 O(km) + poly(k/ε) 단어의 공간을 사용하며, 알려진 Ω(km/ε) 비트 하한과 거의 일치하여, poly(k/ε) 요소를 제외한 공간 최적임을 입증한다.
• 턴스타일 스트림에서는 O((m+n)kε⁻¹) 단어의 공간을 사용하며, 이는 이전의 O((m+n)ε⁻²kε⁻²) 범위를 개선하고 알려진 Ω((m+n)kε⁻¹) 하한과 일치한다.
• 분산 컬럼 서브셋 선택의 통신 하한은 Ω(sφk log(mn)/ε) 비트이며, 표준 워드 크기 하에서 Ω(sφk/ε) 단어로 변환되며, 이 하한은 타당하다.
• 제안된 프로토콜은 입력 행렬의 조건수에 의존하지 않아 다양한 데이터 분포에 걸쳐 강건함을 입증한다.