[논문 리뷰] Dimensionality Reduction for k-Means Clustering and Low Rank Approximation

Michael B. Cohen, Sam Elder외 3명|arXiv (Cornell University)|2014. 10. 24.

Sparse and Compressive Sensing Techniques참고 문헌 41인용 수 14

한 줄 요약

이 논문은 k-means 군집화와 저질서 행렬 근사에 대해 (1+ε) 상대 오차를 갖는 차원 축소를 가능하게 하는 투영비용유지 스케치를 소개한다. 무작위 투영, SVD 또는 열 샘플링을 통해 데이터를 O(k) 차원으로 축소함으로써, 어떤 k-means나 저질서 행렬 알고리즘의 계산 속도를 높이면서 근사 품질을 유지한다. 이로써 k-means에 대해 (9+ε) 근사가 O(log k / ε²) 차원에서 달성되며, 입력 크기와 무관하고 k에 대해 하향선형인 최초의 결과이다.

ABSTRACT

We show how to approximate a data matrix $\mathbf{A}$ with a much smaller sketch $\mathbf{ ilde A}$ that can be used to solve a general class of constrained k-rank approximation problems to within $(1+ε)$ error. Importantly, this class of problems includes $k$-means clustering and unconstrained low rank approximation (i.e. principal component analysis). By reducing data points to just $O(k)$ dimensions, our methods generically accelerate any exact, approximate, or heuristic algorithm for these ubiquitous problems. For $k$-means dimensionality reduction, we provide $(1+ε)$ relative error results for many common sketching techniques, including random row projection, column selection, and approximate SVD. For approximate principal component analysis, we give a simple alternative to known algorithms that has applications in the streaming setting. Additionally, we extend recent work on column-based matrix reconstruction, giving column subsets that not only `cover' a good subspace for $\bv{A}$, but can be used directly to compute this subspace. Finally, for $k$-means clustering, we show how to achieve a $(9+ε)$ approximation by Johnson-Lindenstrauss projecting data points to just $O(\log k/ε^2)$ dimensions. This gives the first result that leverages the specific structure of $k$-means to achieve dimension independent of input size and sublinear in $k$.

연구 동기 및 목표

• 행렬에 대한 k-랭크 근사 비용을 유지하는 차원 축소 기법을 개발하여, k-means 군집화와 저질서 행렬 근사의 계산 속도를 향상시키는 것.
• 어느 k차원 부분공간 근사도 원본 행렬과 거의 동일한 결과를 보장하는 일반적인 프레임워크인 투영비용유지 스케치를 제공하는 것.
• 오직 O(k) 차원만을 사용하여 k-means 및 저질서 행렬 문제에 대해 (1+ε) 상대 오차를 달성함으로써, 이전 연구에 비해 차원을 크게 감소시키는 것.
• 차원 축소를 통해 통신 및 저장을 최소화하여 분산 및 스트리밍 알고리즘을 효율적으로 구현하는 것.

제안 방법

• 모든 k차원 부분공간에 대한 투영 비용이 (1+ε) 오차 내에서 곱으로 유지되는 투영비용유지 스케치의 개념을 도입한다.
• 무작위 투영, 열 샘플링, 근사 SVD를 사용하여 이러한 스케치를 효율적으로 구성하며, 증명 가능한 보장을 제공한다.
• Johnson-Lindenstrauss 유형의 투영을 적용하여 데이터를 O(log k / ε²) 차원으로 축소함으로써 k-means 군집화에 대해 (9+ε) 근사가 유지되도록 한다.
• 기존의 무작위 SVD 및 샘플링 알고리즘을 활용하여, 근사 SVD와 부정확한 샘플링 확률이 프레임워크 내에서 사용될 수 있음을 보여준다.
• 먼저 O(k/ε²) 차원으로 축소한 후 비무작위 투영을 통해 O(k/ε) 차원으로 다시 축소함으로써, 총 통신량을 Õ(s log d log k) 비트로 줄이는 분산 알고리즘을 설계한다.
• 열기반 행렬 재구성 기법을 확장하여, 좋은 부분공간을 생성할 뿐 아니라 직접 저질서 근사를 계산하는 데 사용할 수 있는 열 부분집합을 선택한다.

실험 결과

연구 질문

• RQ1 차원 축소를 통해 데이터를 O(k) 차원으로 줄였을 때, k-means 군집화에 대해 (1+ε) 상대 오차를 달성할 수 있는가?
• RQ2 원본 행렬의 랭크가 높더라도, 오직 O(k) 개의 열만을 사용하여 k-랭크 근사 비용을 유지하는 투영비용유지 스케치를 구성할 수 있는가?
• RQ3 Johnson-Lindenstrauss 투영을 통해 입력 크기와 무관하고 k에 대해 하향선형인 O(log k / ε²) 차원에서 k-means 군집화에 대해 (9+ε) 근사가 달성될 수 있는가?
• RQ4 열 샘플링 기법을 사용하여 거친 근사 SVD를 상대 오차 저질서 근사로 개선할 수 있는가?
• RQ5 제안된 스케칭 프레임워크를 통신을 최소화하는 분산 및 스트리밍 환경에 적용할 수 있는가?

주요 결과

• 논문은 Johnson-Lindenstrauss 투영을 통해 O(log k / ε²) 차원으로 축소함으로써 k-means 군집화에 대해 (9+ε) 근사가 달성되며, 입력 크기와 무관하고 k에 대해 하향선형인 최초의 결과이다.
• 무작위 투영, 열 샘플링 또는 근사 SVD를 통해 크기가 O(k/ε)인 스케치를 사용하여 k-means 및 저질서 행렬 근사에 대해 (1+ε) 상대 오차를 달성한다.
• 제안된 투영비용유지 스케치는 스케치에서의 어떤 k차원 부분공간 근사 비용도 원본 행렬의 비용과 (1+ε) 이내에 유지됨을 보장한다.
• 먼저 O(k/ε²) 차원으로 축소한 후 비무작위 투영을 통해 O(k/ε) 차원으로 다시 축소함으로써, 총 통신량을 Õ(s log d log k) 비트로 줄이는 분산 k-means 알고리즘을 설계하였다.
• 프레임워크는 데이터 파artitions를 독립적으로 처리하고 스케치 행렬의 최소 통신을 허용함으로써 스트리밍 및 분산 계산을 효율적으로 가능하게 한다.
• 논문은 열기반 행렬 재구성 기법을 확장하여, 선택된 열들이 좋은 부분공간을 생성할 뿐 아니라 직접 저질서 근사를 계산하는 데 사용될 수 있음을 보여준다.