[논문 리뷰] k-Means for Streaming and Distributed Big Sparse Data

Artem Barger, Dan Feldman|arXiv (Cornell University)|2015. 11. 29.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 5

한 줄 요약

이 논문은 $\mathbb{R}^d$에서 밀도가 낮은 대규모 데이터에 대해 증명 가능성이 있는 $(k,\varepsilon)$-코어셋을 계산하기 위한 최초의 결정적 스트리밍 및 분산 알고리즘을 제안한다. 여기서 각 벡터는 $O(1)$개의 비영원소를 가지며 $d \geq n$이다. 코어셋 크기는 $n$과 $d$에 독립적으로 $k^{O(1)}$이며, 이는 로그 단위 메모리와 통신을 사용하는 효율적인 $k$-means 클러스터링을 가능하게 하여, 기존 방법들보다 우월하다. 기존 방법들은 $d$에 따라 스케일링되거나 차원 감소를 통해 희박성을 파괴하기 때문이다.

ABSTRACT

We provide the first streaming algorithm for computing a provable approximation to the $k$-means of sparse Big data. Here, sparse Big Data is a set of $n$ vectors in $\mathbb{R}^d$, where each vector has $O(1)$ non-zeroes entries, and $d\geq n$. E.g., adjacency matrix of a graph, web-links, social network, document-terms, or image-features matrices. Our streaming algorithm stores at most $\log n\cdot k^{O(1)}$ input points in memory. If the stream is distributed among $M$ machines, the running time reduces by a factor of $M$, while communicating a total of $M\cdot k^{O(1)}$ (sparse) input points between the machines. % Our main technical result is a deterministic algorithm for computing a sparse $(k,ε)$-coreset, which is a weighted subset of $k^{O(1)}$ input points that approximates the sum of squared distances from the $n$ input points to every $k$ centers, up to $(1\pmε)$ factor, for any given constant $ε>0$. This is the first such coreset of size independent of both $d$ and $n$. Existing algorithms use coresets of size at least polynomial in $d$, or project the input points on a subspace which diminishes their sparsity, thus require memory and communication $Ω(d)=Ω(n)$ even for $k=2$. Experimental results real public datasets shows that our algorithm boost the performance of such given heuristics even in the off-line setting. Open code is provided for reproducibility.

연구 동기 및 목표

• $d \geq n$인 희박한 대규모 데이터에서 $k$-means 클러스터링을 수행하는 데 있어 기존 차원 감소 기법이 희박성을 파괴한다는 문제를 해결하기 위해.
• 메모리 및 통신 비용이 $d$와 $n$에 독립적인 스트리밍 및 분산 알고리즘을 설계하여 $k$-means 근사 품질을 유지하기 위해.
• 모든 가능한 $k$-센터 구성에 대해 제곱거리의 합을 $1\pm\varepsilon$ 이내로 근사하는 결정적 희박한 $(k,\varepsilon)$-코어셋을 구축하기 위해.
• 희박성과 근사 보장을 포기하지 않고 스트리밍, 분산, GPU 가속 환경에서 효율적인 $k$-means 계산을 가능하게 하기 위해.
• 기존 휴리스틱 기법(예: Lloyd 알고리즘)의 성능을 오프라인 및 스트리밍 환경에서 실제로 향상시키기 위해 코어셋 구성의 성능을 실증적으로 검증하기 위해.

제안 방법

• 스트리밍 또는 분산 데이터 세트에 대해 결정적인 병합-감소 트리를 사용하여 희박한 $(k,\varepsilon)$-코어셋을 구성하며, 이때 메모리는 $O(\log n \cdot k^{O(1)})$를 유지한다.
• 데이터를 청크 단위로 처리하고 각 머신 또는 스트림 세그먼트에서 국소 코어셋을 계산한 후, 이진 트리 구조를 사용해 재귀적으로 병합함으로써 코어셋 보장을 유지한다.
• 모든 가능한 $k$-센터 구성에 대해 근사 보장을 보장하기 위해 국소 분산과 후보 중심점으로부터의 거리 기반 가중치 샘플링을 사용한다.
• 행 단위의 인덱스와 값 쌍과 같은 희박한 입력 표현 방식을 지원하여 계산 전반에 걸쳐 희박성을 유지한다.
• 메모리와 통신 비용을 줄이기 위해 $M$台의 머신 간에 오직 $M \cdot k^{O(1)}$개의 희박한 점만 교환함으로써 분산 계산을 가능하게 하며, 이는 실행 시간을 $M$ 배로 단축시킨다.
• 벡터 덧셈과 거리 계산과 같은 단순하고 병렬화 가능한 연산에 의존하므로 GPU 가속과도 호환된다.

실험 결과

연구 질문

• RQ1 $d$와 $n$에 독립적인 크기의 결정적 코어셋을 스트리밍 또는 분산 환경에서 희박한 대규모 데이터에 대해 구성할 수 있는가?
• RQ2 이러한 코어셋은 $d \geq n$ 조건 하에서도 모든 가능한 $k$-센터에 대해 제곱거리 합을 $1\pm\varepsilon$ 요인 내로 유지하는가?
• RQ3 이러한 코어셋을 사용하여 기존의 $k$-means 휴리스틱 기법(예: Lloyd 알고리즘)의 성능을 오프라인 및 스트리밍 환경에서 크게 향상시킬 수 있는가?
• RQ4 분산 환경에서 데이터 크기와 머신 수에 따라 메모리 및 통신 비용은 어떻게 스케일링되는가?
• RQ5 다양한 데이터 분포와 희박성 패턴에 대해 코어셋 구성은 안정적이고 강건한가?

주요 결과

• 제안된 알고리즘은 $n$과 $d$에 독립적인 크기의 희박한 $(k,\varepsilon)$-코어셋을 $k^{O(1)}$로 구성하며, 이는 희박한 대규모 데이터에 대해 증명 가능성이 있는 첫 번째 코어셋이다.
• 스트리밍 모드에서는 $O(\log n \cdot k^{O(1)})$의 메모리 사용량을 달성하고, 분산 모드에서는 $O(M \cdot k^{O(1)})$의 통신 비용을 기록하며, 이는 $d$에 독립적이다.
• 실험 결과, 모든 테스트 데이터셋과 $k$ 값에서 근사 오차 측면에서 균일 샘플링 및 비균일 샘플링보다 코어셋 구성이 유의미하게 뛰어나며, 오차 값이 낮고 안정적임을 보였다.
• 기본 방법들은 큰 표본 크기까지 도달해야만 낮은 오차로 수렴하는 데 반해, 본 알고리즘은 매우 작은 코어셋 크기에서부터도 매우 낮은 오차로 시작하여 점진적으로 향상된다.
• 실험 전반에 걸쳐 오차 분포는 중앙값 주변에 매우 좁게 집중되어 있어 높은 안정성과 낮은 분산을 보이며, 특히 스트리밍 모델에서 두드러진다.
• 스트리밍 구성 중 메모리 사용량은 점수 수에 따라 로그 단위로 증가하며, 이는 이진 병합-감소 트리 구조와 일치한다. 이는 트리 수준 업데이트에 해당하는 진동을 보인다.