[논문 리뷰] Sensitivity Sampling Over Dynamic Geometric Data Streams with Applications to $k$-Clustering

Zhao Song, Lin F. Yang외 1명|arXiv (Cornell University)|2018. 02. 01.

Sparse and Compressive Sensing Techniques참고 문헌 37인용 수 6

한 줄 요약

이 논문은 동적 기하학적 데이터 스트림에서 민감도 기반 샘플링을 위한 새로운 데이터 구조를 제안하며, $k$-means 및 관련 클러스터링 문제에 대해 일회성 스캔(one-pass) 코어셋 구성이 가능하게 한다. 공간 복잡도는 $\widetilde{O}(k\mathrm{poly}(d))$를 달성하여, $k$에 대해 거의 최적의 의존성과 차원 $d$에 대해 다항식 의존성을 가지며, 이는 $k$-means에 대해 동적 스트림 알고리즘으로서 최초의 성과이다. 이 방법은 $k$-미디안, $M$-추정기 클러스터링, 일반적인 거리 기반 비용 함수로도 균일하게 확장되며, 공간 복잡도에 다항식 오버헤드($\mathrm{poly}(d)$)만 추가된다.

ABSTRACT

Sensitivity based sampling is crucial for constructing nearly-optimal coreset for $k$-means / median clustering. In this paper, we provide a novel data structure that enables sensitivity sampling over a dynamic data stream, where points from a high dimensional discrete Euclidean space can be either inserted or deleted. Based on this data structure, we provide a one-pass coreset construction for $k$-means %and M-estimator clustering using space $\widetilde{O}(k\mathrm{poly}(d))$ over $d$-dimensional geometric dynamic data streams. While previous best known result is only for $k$-median [Braverman, Frahling, Lang, Sohler, Yang' 17], which cannot be directly generalized to $k$-means to obtain algorithms with space nearly linear in $k$. To the best of our knowledge, our algorithm is the first dynamic geometric data stream algorithm for $k$-means using space polynomial in dimension and nearly optimal in $k$. We further show that our data structure for maintaining coreset can be extended as a unified approach for a more general classes of $k$-clustering, including $k$-median, $M$-estimator clustering, and clusterings with a more general set of cost functions over distances. For all these tasks, the space/time of our algorithm is similar to $k$-means with only $\mathrm{poly}(d)$ factor difference.

연구 동기 및 목표

• 낮은 공간 복잡도를 갖는 효율적인 동적 스트리밍 알고리즘의 부족을 해결하기 위해.
• 삽입 및 삭제가 가능한 동적 기하학적 데이터 스트림에서 민감도 샘플링 기법을 확장하기 위해.
• $k$-미디안, $M$-추정기 클러스터링, 일반적인 거리 기반 비용 함수에 적용 가능한 통합 프레임워크를 설계하기 위해.
• $k$에 대해 거의 선형이고 차원 $d$에 대해 다항식 의존성을 가지며, 이전의 $k$-미디안 전용 결과보다 향상된 공간 복잡도를 달성하기 위해.

제안 방법

• 삽입 및 삭제가 가능한 스트림 내에서 점의 민감도 점수를 유지하는 동적 데이터 구조를 설계하기 위해.
• 이 데이터 구조를 활용해 민감도 기반 중요도 샘플링을 수행함으로써, $k$-클러스터링 목적 함수에 대한 코어셋 품질을 보장하기 위해.
• 샘플된 점들을 사용해 데이터 스트림을 한 번만 스캔함으로써 코어셋을 구성하기 위해.
• 민감도 계산을 조정하여 $k$-미디안, $M$-추정기 클러스터링, 일반적인 목적 함수에 프레임워크를 확장하기 위해.
• 모든 클러스터링 변형에서 공간 및 시간 복잡도가 $\widetilde{O}(k\mathrm{poly}(d))$를 유지하도록 보장하기 위해.
• 기존의 코어셋 이론을 활용해, 고확률로 $(1+\varepsilon)$-근사값을 달성할 수 있도록 보장하기 위해.

실험 결과

연구 질문

• RQ1 삽입 및 삭제가 가능한 동적 기하학적 데이터 스트림에서 민감도 샘플링을 효율적으로 유지할 수 있는가?
• RQ2 공간 복잡도가 $k$에 대해 거의 선형이고 $d$에 대해 다항식이며, 일회성 스캔 코어셋을 구성할 수 있는가?
• RQ3 동일한 프레임워크를 $k$-미디안, $M$-추정기, 기타 거리 기반 클러스터링 목적 함수로 일반화할 수 있는가?
• RQ4 더 일반적인 비용 함수로의 코어셋 구성 확장에 따른 공간 및 시간 오버헤드는 무엇인가?
• RQ5 다양한 클러스터링 목적 함수에 대해 동적 업데이트 하에서 민감도 기반 샘플링 전략은 어떻게 스케일링되는가?

주요 결과

• 제안된 데이터 구조는 공간 복잡도 $\widetilde{O}(k\mathrm{poly}(d))$를 갖는 동적 기하학적 데이터 스트림에서 $k$-means 클러스터링에 대해 일회성 스캔 코어셋 구성이 가능하게 한다.
• 이것은 $k$에 대해 거의 선형이고 $d$에 대해 다항식 의존성을 가지며, 이는 이전의 $k$-미디안 전용 결과에서 남아 있던 격차를 메우는 최초의 동적 스트림 알고리즘이다.
• 프레임워크는 $k$-미디안, $M$-추정기 클러스터링, 기타 거리 기반 비용 함수로 균일하게 확장되며, 공간 및 시간 복잡도에 다항식($\mathrm{poly}(d)$) 요인의 증가만 발생한다.
• 모든 고려된 $k$-클러스터링 목적 함수에 대해 고확률로 $(1+\varepsilon)$-근사값을 보장한다.
• 동적 업데이트 하에서도 민감도 기반 샘플링의 효율성을 유지하여 실시간 클러스터링 워크로드에 실용적으로 적용 가능하다.
• 다양한 클러스터링 목적 함수에 걸쳐 거의 최적의 코어셋 크기와 최소한의 오버헤드를 달성한다.