[논문 리뷰] Clustering Stream Data by Exploring the Evolution of Density Mountain

Shufeng Gong, Yanfeng Zhang외 1명|arXiv (Cornell University)|2017. 10. 02.

Advanced Clustering Algorithms Research참고 문헌 31인용 수 13

한 줄 요약

EDMStream는 데이터 분포를 '밀도 산맥(density mountain)'으로 모델링하고 계층적인 의존성 트리(DP-Tree)를 사용하여 변화하는 클러스터를 효율적으로 추적하는 실시간 스트림 클러스터링 알고리즘입니다. D-Stream 및 DenStream과 같은 최첨단 기법 대비 7–15배 빠른 클러스터 업데이트를 달성하면서도 동일한 수준의 클러스터링 품질을 유지하며 온라인에서의 클러스터 진화 추적을 가능하게 합니다.

ABSTRACT

Stream clustering is a fundamental problem in many streaming data analysis applications. Comparing to classical batch-mode clustering, there are two key challenges in stream clustering: (i) Given that input data are changing continuously, how to incrementally update clustering results efficiently? (ii) Given that clusters continuously evolve with the evolution of data, how to capture the cluster evolution activities? Unfortunately, most of existing stream clustering algorithms can neither update the cluster result in real time nor track the evolution of clusters. In this paper, we propose an stream clustering algorithm EDMStream by exploring the Evolution of Density Mountain. The density mountain is used to abstract the data distribution, the changes of which indicate data distribution evolution. We track the evolution of clusters by monitoring the changes of density mountains. We further provide efficient data structures and filtering schemes to ensure the update of density mountains in real time, which makes online clustering possible. The experimental results on synthetic and real datasets show that, comparing to the state-of-the-art stream clustering algorithms, e.g., D-Stream, DenStream, DBSTREAM and MR-Stream, our algorithm can response to a cluster update much faster (say 7-15x faster than the best of the competitors) and at the same time achieve comparable cluster quality. Furthermore, EDMStream can successfully capture the cluster evolution activities.

연구 동기 및 목표

• 고속도 데이터 스트림에서 기존 알고리즘이 주기적인 오프라인 재클러스터링에 의존하는 실시간 클러스터 업데이트 도전 과제를 해결하기 위해.
• 밀도 산맥 구조의 변화를 모니터링하여 클러스터의 융합 또는 분할과 같은 진화를 지속적으로 추적할 수 있도록 하기 위해.
• 전체 재처리 없이도 증분 업데이트를 지원할 수 있는 효율적인 데이터 구조 및 필터링 메커니즘을 설계하기 위해.
• 컴modity 하드웨어에서 클러스터 업데이트에 대해 23μs 이내의 저지연 응답을 달성하면서도 클러스터링 정확도를 유지하기 위해.
• 배치 모드나 후행적 진화 추적의 한계를 극복하기 위해 빠른 온라인 클러스터링과 동적 진화 탐지 기능을 통합한 통합 프레임워크를 제공하기 위해.

제안 방법

• 알고리즘은 클러스터 중심이 정점이고 경계가 산발의 발단지에 해당하는 '밀도 산맥'으로 데이터 분포를 모델링하여 클러스터 구조의 시각적 및 계산적 추적을 가능하게 합니다.
• 의존성 트리(DP-Tree)를 도입하여 클러스터 셀과 그들보다 밀도가 높은 가장 가까운 이웃 간의 의존 관계를 계층적으로 캡처하며, 밀도 연결된 구성 요소의 트리로 구성됩니다.
• 클러스터 셀은 데이터의 고밀도 영역을 요약하여 계산 오버헤드를 줄이고 고속도 스트림의 확장 가능한 처리를 가능하게 합니다.
• 업데이트 범위를 DP-Tree 내에서 영향을 받는 하위트리로 제한하기 위해 효율적인 필터링 기법을 적용하여 신속한 응답을 보장합니다.
• 가장 가까운 더 높은 밀도 지점까지의 거리(δ)를 핵심 메트릭으로 활용하여 클러스터 경계 및 융합 또는 분할과 같은 진화 이벤트를 탐지합니다.
• 오프라인 재클러스터링이 필요 없이 DP-Tree에서 직접 온라인 클러스터 결과 업데이트를 계산함으로써 실시간 반응성을 달성합니다.

실험 결과

연구 질문

• RQ1 스트림 클러스터링 알고리즘이 주기적인 오프라인 재클러스터링에 의존하지 않고도 실시간 클러스터 업데이트를 달성할 수 있는가?
• RQ2 클러스터의 융합 또는 분할과 같은 진화가 데이터 수신 중에 어떻게 지속적으로 탐지되고 추적될 수 있는가?
• RQ3 DP-Tree와 같은 계층적 트리 구조가 평면 그래프 또는 요약 기반 구조보다 더 빠르고 확장 가능한 클러스터 업데이트를 지원할 수 있는가?
• RQ4 기존의 밀도 기반 또는 마이크로클러스터 기반 방법에 비해 밀도 산맥 진화 추적을 통해 클러스터링 정확도와 반응성은 어느 정도 향상되는가?
• RQ5 제안된 알고리즘이 합성 및 실세계 스트리밍 데이터에서 업데이트 지연과 확장성 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• EDMStream는 컴modity 하드웨어에서 평균 클러스터 업데이트 지연이 7–23μs로, D-Stream 및 DenStream과 같은 최고 성능을 보이는 경쟁자 대비 7–15배 빠릅니다.
• 알고리즘은 DP-Tree의 구조적 변화와 밀도 산맥의 진화를 모니터링하여 융합 및 분할과 같은 클러스터 진화 활동을 성공적으로 포착합니다.
• 속도와 온라인 업데이트에 중점을 두었음에도 불구하고, DBSTREAM, DenStream 및 MR-Stream과 같은 최첨단 알고리즘과 비교해 유사한 수준의 클러스터링 품질을 유지합니다.
• 클러스터 셀과 DP-Tree 구조의 사용은 계산 오버헤드를 크게 줄여 전체 재처리 없이도 효율적인 증분 업데이트를 가능하게 합니다.
• 필터링 기법과 트리 기반 의존성 추적 덕분에 알고리즘은 영향을 받는 하위트리로 업데이트를 국소화하여 처리 비용과 지연을 최소화합니다.
• EDMStream는 데이터 진화에 강력한 적응력을 보이며, 실시간으로 변화하는 데이터 분포에 따라 클러스터 구조를 동적으로 조정합니다.