[논문 리뷰] Achieving Approximate Soft Clustering in Data Streams

Vaneet Aggarwal, Shankar Krishnan|arXiv (Cornell University)|2012. 07. 26.

Advanced Clustering Algorithms Research참고 문헌 21인용 수 5

한 줄 요약

이 논문은 데이터 스트림에서 근사 소프트 클러스터링을 위한 일회성 스트리밍 알고리즘을 제안하며, k-means++ 프레임워크를 스트리밍 및 슬라이딩 윈도우 모델로 확장합니다. 메모리 제약 하에 동적 데이터를 처리하면서 소프트 k-means에 대해 O(log k)-경쟁적 근사값을 달성하기 위해 하드 k-means의 의사근사값을 활용하고 이를 변형함으로써 구현합니다.

ABSTRACT

In recent years, data streaming has gained prominence due to advances in technologies that enable many applications to generate continuous flows of data. This increases the need to develop algorithms that are able to efficiently process data streams. Additionally, real-time requirements and evolving nature of data streams make stream mining problems, including clustering, challenging research problems. In this paper, we propose a one-pass streaming soft clustering (membership of a point in a cluster is described by a distribution) algorithm which approximates the "soft" version of the k-means objective function. Soft clustering has applications in various aspects of databases and machine learning including density estimation and learning mixture models. We first achieve a simple pseudo-approximation in terms of the "hard" k-means algorithm, where the algorithm is allowed to output more than $k$ centers. We convert this batch algorithm to a streaming one (using an extension of the k-means++ algorithm recently proposed) in the "cash register" model. We also extend this algorithm when the clustering is done over a moving window in the data stream.

연구 동기 및 목표

• 고속, 실시간 데이터 스트림에서 효율적인 일회성 스트리밍 알고리즘을 설계하여 소프트 클러스터링을 수행하는 것.
• k-means++ 알고리즘을 스트리밍 및 이동 윈도우 모델로 확장하여 클러스터링 품질을 향상시키는 것.
• 하드 k-me너스 문제와의 연관성을 통해 소프트 k-means에 대한 이론적 근사 보장을 수립하는 것.
• 동적 데이터 삽입 및 삭제가 발생하는 슬라이딩 윈도우에서 메모리 효율적인 소프트 클러스터링 솔루션을 제공하는 것.
• 표준 EM 대비 k-means++ 초기화의 수렴 속도 및 목적 함수 값 측면에서의 우수성을 실증적으로 검증하는 것.

제안 방법

• 하드 k-means 문제의 의사근사값을 사용하여 k개 초과의 중심을 허용함으로써 유한한 근사 요인을 확보합니다.
• 코어셋 구축을 통해 다수준 클러스터링 계층을 구성함으로써 k-means++ 알고리즘을 스트리밍 '캐시 레지스터' 모델에 적응시킵니다.
• 슬라이딩 윈도우 크기 L을 유지하고 가중 평균을 사용하여 클러스터 중심을 동적으로 갱신함으로써 알고리즘을 이동 윈도우 모델로 확장합니다.
• 각 수준이 M개의 포인트를 처리하고 3k log k개의 중심으로 압축하는 t단계 계층적 클러스터링 구조를 적용하여 윈도우 이동을 효율적으로 처리합니다.
• 슬라이딩 윈도우 모델에서 k-means에 대해 O(log k)-경쟁적임을 보일 수 있는 경쟁 분석 프레임워크를 적용합니다.
• 목적 함수의 구조를 유지하는 변환을 통해 k-means의 근사 보장을 소프트 k-means로 이전합니다.

실험 결과

연구 질문

• RQ1 고차원적이고 연속적인 데이터 스트림 환경에서 스트리밍 알고리즘이 소프트 k-means에 대해 상수 요인 근사값을 달성할 수 있는가?
• RQ2 메모리 제약 하에 k-means++ 초기화를 스트리밍 및 슬라이딩 윈도우 모델에 어떻게 적응시켜 근사 품질을 유지할 수 있는가?
• RQ3 이동 윈도우에서 스트리밍 소프트 클러스터링 알고리즘의 이론적 경쟁 비율은 얼마인가?
• RQ4 수렴 속도 및 목적 함수 값 측면에서 k-means++ 기반 초기화는 표준 EM에 비해 얼마나 우수한가?
• RQ5 동적 데이터 삽입 및 삭제가 발생하는 슬라이딩 윈도우에서 코어셋 기반 접근법을 사용해 근사 클러스터 중심을 유지할 수 있는가?

주요 결과

• 제안된 알고리즘은 메모리 복잡도 O(L^ε(k log k)^{1−ε})를 가지며, ε = 1/(t+1)일 때 슬라이딩 윈도우 모델에서 k-means에 대해 O(log k)-경쟁적 근사값을 달성합니다.
• 소프트 k-means 목적 함수는 k-means 근사 보장에서 유도된 O(k^m(1−m) log k)의 경쟁 비율로 근사됩니다.
• 실증 결과에 따르면 k-means++ 초기화는 스팸 데이터셋(4601개 포인트, 58차원)에서 목적 함수를 최대 89.91% 감소시키고 실행 시간을 최대 83% 향상시킵니다.
• 클라우드 데이터셋(1024개 포인트, 10차원)에서 EM++는 실행 시간을 최대 83% 향상시키고 잠재 함수 값을 최대 33.85% 감소시킵니다.
• t번째 수준에서 가장 오래된 3k log k개의 포인트를 이전 수준의 새로운 중심으로 동적으로 교체함으로써 윈도우가 이동하더라도 O(log k)-경쟁성이 유지됩니다.
• 이 방법은 캐시 레지스터 모델과 이동 윈도우 모델을 모두 지원하여 제한된 메모리와 근사 오차를 갖는 실시간 소프트 클러스터링을 가능하게 합니다.