[논문 리뷰] Nearly Optimal Dynamic $k$-Means Clustering for High-Dimensional Data

Wei Hu, Zhao Song외 2명|arXiv (Cornell University)|2018. 02. 01.

Advanced Clustering Algorithms Research참고 문헌 26인용 수 5

한 줄 요약

이 논문은 차원 수 $d$ 에 대해 다항식 시간이고 $k$ 에 대해 거의 선형인 공간을 사용하는 고차원 공간에서의 $k$-means 군집화를 위한 최초의 동적 스트리밍 알고리즘을 제시한다. 이는 감도 기반 코어셋 구성 기법을 통해 달성되며, $\epsilon$-코어셋 크기 $O(k\epsilon^{-2}d^4\log(kd\log\Delta))$ 와 $\widetilde{O}(k)\cdot\mathrm{poly}(d,\log\Delta,\epsilon^{-1})$ 의 공간 복잡도를 확보함으로써 삽입 및 삭제가 가능한 효율적인 근사 군집화를 가능하게 한다.

ABSTRACT

We consider the $k$-means clustering problem in the dynamic streaming setting, where points from a discrete Euclidean space $\{1, 2, \ldots, Δ\}^d$ can be dynamically inserted to or deleted from the dataset. For this problem, we provide a one-pass coreset construction algorithm using space $ ilde{O}(k\cdot \mathrm{poly}(d, \logΔ))$, where $k$ is the target number of centers. To our knowledge, this is the first dynamic geometric data stream algorithm for $k$-means using space polynomial in dimension and nearly optimal (linear) in $k$.

연구 동기 및 목표

• 고차원 유클리드 공간에서 점의 삽입 및 삭제를 모두 지원하는 동적 스트리밍 알고리즘을 설계한다.
• 차원 수 $d$ 에 대해 다항식 복잡도이고 $k$ 에 대해 거의 선형인 공간 복잡도를 달성함으로써, 로그 인자에 대한 최적성에 근접한다.
• 감도 샘플링을 사용하여 단일 패assing으로 $\epsilon$-코어셋을 구성함으로써 진정한 $k$-means 비용에 $(1+\epsilon)$-근사값을 확보한다.
• 기존의 머지-리덕스 및 텔레스코프 합 프레임워크가 $k$-means에 대해 동적 환경에서 실패하는 한계를 극복한다.
• 삽입 및 삭제 동적 업데이트 상황에서도 높은 확률 보장을 유지하는 공간 효율적이고 한 번의 패assing만으로도 가능한 코어셋 구성 기법을 제공한다.

제안 방법

• 각 점이 감도 상한값 $s'(q)$ 비례하여 샘플링되는 감도 샘플링 프레임워크를 사용한다. 이는 점의 총 비용에 미치는 잠재적 영향을 측정한다.
• 공간 $[\Delta]^d$ 를 여러 수준의 격자로 분해하여 밀도 및 감도를 추정한다. 각 수준에서 셀 크기가 점점 작아지도록 한다.
• 격자 수준 간의 텔레스코프 합을 사용하여 고밀도 영역에 있는 점들의 감도를 제한한다. 고밀도 영역에 있는 점들은 감도가 낮다는 사실을 활용한다.
• 감도의 재귀적 추정 절차를 적용하여 $\sum_q s'(q)$ 를 $\widetilde{O}(k \cdot \mathrm{poly}(d))$ 로 제한함으로써 작은 코어셋 크기를 확보한다.
• 역확률 가중치 샘플링을 사용하여 코어셋을 구성함으로써, 모든 $k$-센터 구성에 대해 추정된 비용의 농도가 보장된다.
• 감도 추정치와 셀 수의 점진적 업데이트를 통해 단일 패assing으로 코어셋을 동적으로 유지하며, 삽입 및 삭제를 모두 지원한다.

실험 결과

연구 질문

• RQ1 차원 수 $d$ 에 대해 다항식이고 $k$ 에 대해 거의 선형인 공간을 사용하여 고차원 공간에서 동적 $k$-means 코어셋을 구성할 수 있는가?
• RQ2 점이 삽입 및 삭제되는 동적 스트리밍 환경에서 감도를 효율적으로 추정할 수 있는가?
• RQ3 감도 샘플링이 동적 스트림에서 $k$-means에 적합하게 조정될 수 있는가? 특히 중심 위치에 대한 비용의 제곱형 의존성으로 인해 텔레스코프 합 기법이 실패하기 때문이다.
• RQ4 $(1+\epsilon)$-근사 보장 조건 하에서 동적 $k$-means에 대해 달성 가능한 최소 코어셋 크기는 얼마인가?
• RQ5 삽입 및 삭제를 모두 지원하면서 $\widetilde{O}(k)\cdot\mathrm{poly}(d)$ 의 공간 복잡도를 유지하는 코어셋을 유지하는 것은 가능한가?

주요 결과

• 알고리즘은 높은 확률(최소 0.9 이상)로 $\epsilon$-코어셋 크기 $O(k\epsilon^{-2}d^4\log(kd\log\Delta))$ 를 구성한다.
• 공간 복잡도는 $\widetilde{O}(k)\cdot\mathrm{poly}(d,\log\Delta,\epsilon^{-1})$ 이며, 이는 $d$ 에 대해 다항식이고 $k$ 에 대해 거의 선형이며, 거의 최적이다.
• 코어셋 구성은 한 번의 패assing이며 삽입 및 삭제를 모두 지원하므로 동적 데이터 스트림에 적합하다.
• 감도 추정 프레임워크는 $\sum_q s'(q) = \widetilde{O}(k \cdot \mathrm{poly}(d))$ 를 보장하며, 이는 직접적으로 코어셋 크기의 상한을 가능하게 한다.
• 고밀도 영역의 감도를 제한하기 위해 계층적 격자와 국소 밀도 추정을 사용함으로써 텔레스코프 합 기법이 $k$-means에서 실패하는 문제를 해결한다.
• 이 연구는 차원 수 $d$ 에 대해 다항식이고 $k$ 에 대해 선형인 공간 복잡도를 갖는 동적 스트리밍 알고리즘을 제시하며, 이는 분야 내 핵심 열린 문제를 해결한다.