[논문 리뷰] Efficient Dynamic Clustering: Capturing Patterns from Historical Cluster Evolution

Binbin Gu, Saeed Kargar외 1명|arXiv (Cornell University)|2022. 01. 01.

Data Stream Mining Techniques인용 수 6

한 줄 요약

이 논문은 고속도의 데이터 환경에서 빠르고 정확한 동적 클러스터링을 가능하게 하기 위해 이력 batch 클러스터링 결과에서 클러스터의 진화 패턴을 학습하는 기계학습 보강 시스템인 DynamicC를 제안한다. 데이터 업데이트에 대한 반응으로 클러스터가 어떻게 변화하는지 학습함으로써 DynamicC는 병합/분할 결정을 예측하고 목적 함수를 기반으로 히ュ리스틱을 적용하여 최신 기술 대비 현저히 낮은 지연 시간으로 배치 수준의 정확도에 근접한 성능을 달성한다.

ABSTRACT

Clustering aims to group unlabeled objects based on similarity inherent among them into clusters. It is important for many tasks such as anomaly detection, database sharding, record linkage, and others. Some clustering methods are taken as batch algorithms that incur a high overhead as they cluster all the objects in the database from scratch or assume an incremental workload. In practice, database objects are updated, added, and removed from databases continuously which makes previous results stale. Running batch algorithms is infeasible in such scenarios as it would incur a significant overhead if performed continuously. This is particularly the case for high-velocity scenarios such as ones in Internet of Things applications. In this paper, we tackle the problem of clustering in high-velocity dynamic scenarios, where the objects are continuously updated, inserted, and deleted. Specifically, we propose a generally dynamic approach to clustering that utilizes previous clustering results. Our system, DynamicC, uses a machine learning model that is augmented with an existing batch algorithm. The DynamicC model trains by observing the clustering decisions made by the batch algorithm. After training, the DynamicC model is usedin cooperation with the batch algorithm to achieve both accurate and fast clustering decisions. The experimental results on four real-world and one synthetic datasets show that our approach has a better performance compared to the state-of-the-art method while achieving similarly accurate clustering results to the baseline batch algorithm.

연구 동기 및 목표

• 동적 데이터베이스에서 매번 데이터 업데이트가 발생할 때마다 배치 클러스터링 알고리즘을 다시 실행하는 데 발생하는 높은 계산 오버헤드를 해결하기 위해.
• 알고리즘에 특화된 가정에 의존하지 않고도 어떤 배치 클러스터링 알고리즘과도 작동하는 일반적인 목적의 동적 클러스터링 시스템을 설계하기 위해.
• IoT 및 클라우드 애플리케이션과 같은 고속도 워크로드에서 클러스터 진화의 예측 가능한 패턴을 학습함으로써 지연 시간을 줄이기 위해.
• 학습된 예측을 통해 성능을 크게 향상시키면서도 배치 방법과 비교할 만한 클러스터링 품질을 유지하기 위해.
• 진행 중인 데이터 워크로드에 적응하기 위해 지속적인 재학습과 모델 적응을 가능하게 하기 위해.

제안 방법

• DynamicC는 삽입, 삭제 및 수정에 반응하여 배치 클러스터링 알고리즘으로부터 생성된 이력 클러스터 진화 데이터를 기반으로 기계학습 모델을 훈련한다.
• 시스템은 차원을 줄이고 효율적인 학습을 가능하게 하기 위해 클러스터링 변화를 압축된 이진 결정(병합 또는 분할)과 전역 유사도 지표로 표현한다.
• 예측 단계에서는 모델이 일반적인 병합/분할 결정을 출력하고, 이를 클러스터링 목적 함수에 기반한 히ュ리스틱을 사용해 특정 노드 이동으로 매핑한다.
• 예측의 정확성을 검증하기 위해 변화가 목적 함수 점수를 향상시키는지 확인함으로써 잘못된 예측는 거부하여 품질을 유지한다.
• DynamicC는 지속적인 재학습을 지원하여 변화하는 데이터 패턴에 적응하고 시간이 지남에 따라 모델 정확도를 유지한다.
• 이 방법은 기반 배치 알고리즘에 관계없이 적용 가능하므로 k-means, DBSCAN 등 다양한 클러스터링 기법과 최소한의 변경으로 통합이 가능하다.

실험 결과

연구 질문

• RQ1 기계학습 모델은 동적 데이터베이스에서 이력 배치 클러스터링 결과로부터 클러스터 진화 패턴을 학습하고 예측할 수 있는가?
• RQ2 클러스터 진화를 어떻게 압축적이고 효과적으로 표현할 수 있는가? 이를 통해 효율적인 훈련과 예측이 가능하게 할 수 있는가?
• RQ3 학습된 모델은 고속도 워크로드에서 지연 시간을 줄이면서도 배치 방법과 비교할 만한 클러스터링 정확도를 달성할 수 있는가?
• RQ4 모델의 출력이 잘못되었을 경우 시스템은 예측의 정확성을 어떻게 확보하는가?
• RQ5 모델은 변화하는 데이터 패턴에 적응하기 위해 얼마나 잘 지속적으로 재학습될 수 있는가?

주요 결과

• DynamicC는 Cora 데이터셋에서 F1 점수 0.997, Music에서 0.994, Synthetic 데이터셋에서 0.992를 기록하여 기준 배치 알고리즘과 비교적 유사한 성능을 달성했다.
• Cora 데이터셋에서 DynamicC는 최신 기술 대비 뚜렷한 지연 시간 감소를 기록하면서도 near-perfect F1 점수를 유지했다.
• Cora 데이터셋의 80%를 기반으로 훈련한 로지스틱 회귀 모델은 98% 재현율과 98% 정확도를 기록하여 강력한 학습 수렴 성능를 입증했다.
• 모든 기계학습 모델(LR, SVM, 결정 트리)의 훈련 시간은 20,000개의 훈련 샘플이 있어도 1초 이내로 유지되었다.
• 시스템의 히ュ리스틱 기반 액션 매핑은 목적 함수 점수를 향상시키는 예측만 적용함으로써 클러스터링 품질을 유지한다.
• DynamicC는 지속적인 재학습을 가능하게 하여 장기적인 데이터 드리프트에 적응하고 시간이 지나도 성능을 유지할 수 있도록 한다.