[논문 리뷰] Fast and Accurate $k$-means++ via Rejection Sampling

Vincent Cohen-Addad, Silvio Lattanzi외 3명|arXiv (Cornell University)|2020. 12. 22.

Data Management and Algorithms인용 수 5

한 줄 요약

이 논문은 다중 트리 임bedding과 기각 샘플링을 사용하여 k-means++ 시딩을 near-linear time로 수행하는 알고리즘을 제안한다. 이는 k-means++와 동일한 O(log k) 근사 보장을 확보하면서도 런타임을 크게 향상시킨다. 트리에 의한 거리 근사와 LSH 기반 기각 샘플링을 통한 샘플링 편향 보정을 통해, 알고리즘은 Õ(nd + (n log Δ)^{1+ε}) 시간에 실행되며, 큰 k에 대해 k-means++와 Afkmc2보다 최대 한 단계 빠르게 동작한다. 해석 품질은 유지된다.

ABSTRACT

$k$-means++ \cite{arthur2007k} is a widely used clustering algorithm that is easy to implement, has nice theoretical guarantees and strong empirical performance. Despite its wide adoption, $k$-means++ sometimes suffers from being slow on large data-sets so a natural question has been to obtain more efficient algorithms with similar guarantees. In this paper, we present a near linear time algorithm for $k$-means++ seeding. Interestingly our algorithm obtains the same theoretical guarantees as $k$-means++ and significantly improves earlier results on fast $k$-means++ seeding. Moreover, we show empirically that our algorithm is significantly faster than $k$-means++ and obtains solutions of equivalent quality.

연구 동기 및 목표

• 대규모 데이터셋에 스케일링 가능한 강력한 이론적 보장을 유지하면서 더 빠른 k-means++ 시딩 알고리즘을 개발하기 위해.
• 특히 중간에서 큰 k에 대해, 이전의 빠른 k-means++ 방법들이 겪는 Ω(k²) 런타임 장벽을 극복하기 위해.
• 해결 품질을 희생시키지 않고 near-linear time 복잡도 Õ(nd + (n log Δ)^{1+ε})를 달성하기 위해.
• LSH를 활용한 근접 이웃 추정을 통해 기각 샘플링을 통해 원래의 k-means++ D²-분포와 동일한 출력 분포를 확보하기 위해.
• 실험적으로 제안된 방법이 k-means++와 Afkmc2보다 빠르면서도 클러스터링 비용이 유사한지 검증하기 위해.

제안 방법

• 이 방법은 점들 간의 제곱 유클리드 거리를 근사하기 위해 다중 트리 임베딩을 사용하여 트리 거리 기반의 D²-샘플링을 빠르게 수행한다.
• 트리에 의해 근사된 거리를 사용하여 Fastk-means++가 Õ(nd) 시간 내에 시딩을 계산한다.
• 근사 오차를 보정하기 위해 기각 샘플링을 적용한다: 각 후보 점은 진짜 거리가 현재 중심 집합까지의 트리 추정 거리의 인자 c 이내일 때에만 수락된다.
• 근접 이웃을 원래 공간에서 효율적으로 추정하기 위해 국소성에 민감한 해싱(LSH)을 사용하여 기각 확률 계산을 빠르게 한다.
• 최종 샘플링 분포가 진짜 D²-분포를 잘 모방하도록 보장함으로써, 알고리즘은 k-means++와 동일한 O(log k) 근사 보장을 유지한다.
• 동일한 near-linear 시간 예산 내에서 모든 k=1,2,…,n에 대해 유효한 k-means++ 시딩을 생성한다.

실험 결과

연구 질문

• RQ1 근사 보장이 O(log k)인 near-linear time k-means++ 시딩을 달성할 수 있는가?
• RQ2 다중 트리 임베딩과 기각 샘플링을 조합하여, 분포와 품질 면에서 k-means++와 구분할 수 없는 해답을 도출할 수 있는가?
• RQ3 이전의 빠른 k-means++ 알고리즘들이 겪는 Ω(k²) 런타임 장벽을 넘어선다. 특히 큰 k에 대해 성능이 향상되는가?
• RQ4 LSH 기반의 근접 이웃 추정을 효과적으로 활용하여 기각 샘플링을 빠르게 수행하면서도 해답 품질이 떨어지지 않는가?
• RQ5 제안된 방법이 k-means++와 Afkmc2에 비해 큰 k에 대해 속도와 클러스터링 비용 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 알고리즘은 Õ(nd + (n log Δ)^{1+ε}) 시간에 실행되어 near-linear 복잡도를 확보하면서도 O(log k) 근사 보장을 유지한다.
• k=1000일 때, Song 및 KDD-Cup와 같은 실세계 데이터셋에서 k-means++와 Afkmc2보다 최대 한 단계 빠른 성능을 기록한다.
• Song 데이터셋에서 RejectionSampling은 k=1000일 때 클러스터링 비용 74,654(10⁵ 배율)을 기록했으며, k-means++(26,784)와 유사하고 Afkmc2(82,700)보다 우수하다.
• KDD-Cup 데이터셋에서 방법은 런타임 간의 변동성이 낮게 유지되었고, RejectionSampling은 k=1000일 때 799(10² 배율)의 비용을 기록했으며, k-means++(269)에 가깝고 Afkmc2(883)보다 훨씬 우수하다.
• 기각 샘플링 반복의 기대 수는 O(c²d²k)로 유계이며, 각 반복은 LSH 연산이 지배하므로 전체적으로 효율적이다.
• 이 방법은 동일한 시간 예산 내에서 모든 k=1,2,…,n에 대해 유효한 k-means++ 시딩을 생성하므로, 다중 k 분석이 효율적으로 가능하다.