[논문 리뷰] Single Pass PCA of Matrix Products

Shanshan Wu, Srinadh Bhojanapalli외 2명|arXiv (Cornell University)|2016. 10. 21.

Sparse and Compressive Sensing Techniques인용 수 8

한 줄 요약

이 논문은 행렬 곱 $A^T B$ 의 저질서 근사값을 계산하기 위한 새로운 일회성 알고리즘인 SMP-PCA 를 제안한다. 이 알고리즘은 행렬 스케칭과 행 및 열 노름을 포함하는 재스케일링된 존슨-린든스트라우스(JL) 임bedding을 결합하여, 이중 스캔 방법과 비교할 만한 스펙트럴 노름 오차 보장을 달성한다. 또한 단순한 스케칭-스케칭 접근 방식보다 뛰어난 성능을 보이며, 실제 및 합성 데이터에 대한 Spark 기반 실험에서 우수한 계산 및 통계 성능을 입증한다.

ABSTRACT

In this paper we present a new algorithm for computing a low rank approximation of the product $A^TB$ by taking only a single pass of the two matrices $A$ and $B$. The straightforward way to do this is to (a) first sketch $A$ and $B$ individually, and then (b) find the top components using PCA on the sketch. Our algorithm in contrast retains additional summary information about $A,B$ (e.g. row and column norms etc.) and uses this additional information to obtain an improved approximation from the sketches. Our main analytical result establishes a comparable spectral norm guarantee to existing two-pass methods; in addition we also provide results from an Apache Spark implementation that shows better computational and statistical performance on real-world and synthetic evaluation datasets.

연구 동기 및 목표

• 메모리에 들어가지 않을 정도로 크기가 큰 $A$ 와 $B$ 에 대해 $A^T B$ 의 저질서 근사값을 계산하기 위한 단일 스캔 알고리즘을 개발하는 것.
• A 와 B 를 별도로 스케칭한 후 스케칭된 결과의 곱에 대해 SVD 를 수행하는 난이도 높은 이중 단계 접근 방식을 개선하는 것.
• 이중 스캔 방법과 비교할 만한 스펙트럴 노름 오차 보장을 제공하면서도 일회성 효율성을 유지하는 것.
• 스케칭과 벡터의 노름 정보를 모두 활용하여 고차원 공간에서의 내적 추정을 향상시키는 방법을 설계하는 것.
• Apache Spark 에서 분산 처리 및 대규모 데이터 워크로드를 위한 구현 및 평가를 수행하는 것.

제안 방법

• 행과 열의 노름 정보를 통합한 재스케일링된 JL 임bedding 을 제안하여 내적 추정을 향상시키는 것.
• 하이브리드 샘플링 전략을 사용: 정확도와 효율성을 균형 잡기 위해 행 기반 다항분포 샘플링.
• 비균일 분포에서의 효율적 샘플링을 위해 누적분포함수(CDF)와 이진 탐색을 활용.
• 최종 스케치에 대해 절삭된 특이값 분해(Truncated SVD)를 적용하여 $A^T B$ 의 질서 $r$ 근사값을 계산.
• 노름 인식 재스케일링을 통해 안정성과 오차 제어를 유지하는 새로운 스케칭 프레임워크 도입.
• 분산 메모리 및 I/O 효율성 최적화를 고려한 Apache Spark 에서의 알고리즘 구현.

실험 결과

연구 질문

• RQ1 일회성 알고리즘이 이중 스캔 방법과 비교할 만한 스펙트럴 노름 오차 범위를 $A^T B$ 의 저질서 근사값에 대해 달성할 수 있는가?
• RQ2 스케칭 과정에 행 및 열의 노름을 통합하면 표준 스케칭에 비해 추정 정확도가 향상되는가?
• RQ3 A 와 B 를 별도로 스케칭한 후 곱의 SVD 를 계산하는 난이도 높은 접근 방식과 비교해 SMP-PCA 의 성능은 어떠한가?
• RQ4 실제로 기존의 이중 스캔 방법보다 더 뛰어난 통계적 및 계산 성능을 보일 수 있는가?
• RQ5 스케치 크기와 샘플링 전략이 저질서 근사의 정확도 및 확장성에 미치는 영향은 무엇인가?

주요 결과

• SMP-PCA 는 이중 스캔 방법과 비교할 만한 스펙트럴 노름 오차 보장을 달성하며, 오차는 $\|A^T B - (A^T B)_r\|$ 와 $\|A^T B\|$ 에 따라 감소하고, 스케치 크기와 샘플 수가 클수록 감소한다.
• 알고리즘은 단순한 스케칭-스케칭 접근 방식보다 정확도와 오차율 모두에서 뛰어나며, A 와 B 의 열 벡터가 한 원뿔 내에 있을 경우 임의로 더 나은 성능을 낼 수 있다.
• Apache Spark 실험에서 SMP-PCA 는 합성 및 실제 데이터 세트에서 기준 방법보다 더 뛰어난 계산 및 통계 성능을 보였다.
• CDF 기반 이진 탐색을 사용한 다항분포 기반 행 기반 샘플링 전략은 $m$ 개의 샘플에 대해 시간 복잡도를 $O(m \log n)$ 으로 감소시켜 분산 처리에 효율적이다.
• 재스케일링된 JL 임bedding 은 특히 비균형적인 노름을 가진 고차원 설정에서 표준 JL 임bedding 보다 더 정확한 내적 추정을 제공한다.
• 알고리즘의 런타임은 $O((\text{nnz}(A)+\text{nnz}(B))\frac{\rho^{2}r^{3}\tilde{r}}{\eta^{2}} + \frac{nr^{6}\rho^{4}\tilde{r}^{3}}{\eta^{4}})$ 로, 이중 스캔 방법과 경쟁 가능하며 입력 크기에 대해 제곱 이하로 확장된다.