[논문 리뷰] Analysis and Study of Incremental DBSCAN Clustering Algorithm

Sanjay Chakraborty, Naresh Kumar Nagwani|arXiv (Cornell University)|2014. 06. 18.

Data Mining Algorithms and Applications참고 문헌 4인용 수 16

한 줄 요약

이 논문은 데이터 삽입 또는 삭제 후 동적 데이터베이스에서 클러스터를 효율적으로 갱신하는 인크리멘탈 DBSCAN 알고리즘을 제안한다. 전체 재처리를 피하기 위해 기존 클러스터를 통해 변화를 전파하고 영향을 받는 영역만 재평가함으로써, 클러스터링 정확도를 유지하면서 계산 비용을 크게 감소시킨다. 배치 DBSCAN 결과와의 편차가 크지 않은 안정적인 성능을 30%의 데이터 변화까지 유지한다.

ABSTRACT

This paper describes the incremental behaviours of Density based clustering. It specially focuses on the Density Based Spatial Clustering of Applications with Noise (DBSCAN) algorithm and its incremental approach.DBSCAN relies on a density based notion of clusters.It discovers clusters of arbitrary shapes in spatial databases with noise.In incremental approach, the DBSCAN algorithm is applied to a dynamic database where the data may be frequently updated. After insertions or deletions to the dynamic database, the clustering discovered by DBSCAN has to be updated. And we measure the new cluster by directly compute the new data entering into the existing clusters instead of rerunning the algorithm.It finally discovers new updated clusters and outliers as well.Thus it describes at what percent of delta change in the original database the actual and incremental DBSCAN algorithms behave like same.DBSCAN is widely used in those situations where large multidimensional databases are maintained such as Data Warehouse.

연구 동기 및 목표

• 동적 데이터베이스에서 매번 데이터 업데이트 후에 배치 DBSCAN을 다시 실행하는 데서 비효율성을 해결하기 위해.
• 최소한의 재계산으로 클러스터 구조와 아웃라이어 탐지 기능을 유지하는 인크리멘탈 알고리즘을 설계하기 위해.
• 다양한 수준의 데이터 변화 하에서 인크리멘탈 접근 방식의 성능과 정확도를 평가하기 위해.
• 인크리멘탈 DBSCAN이 배치 DBSCAN 결과와 더 이상 일치하지 않는 임계점을 규명하기 위해.

제안 방법

• 알고리즘은 기존 클러스터 구조를 유지하고, 새로 삽입되거나 삭제된 객체의 주변 영역 내에 있는 데이터 포인트만 재평가한다.
• 새로운 데이터 포인트가 기존 클러스터에 할당될지 또는 새로운 클러스터를 형성할지 결정하기 위해 밀도 기반 기준을 사용한다.
• 각 업데이트 후, 영향을 받는 포인트의 도달 가능성과 코어 포인트 상태를 점검하여 클러스터 구조 전반에 걸쳐 변화를 전파한다.
• 변경된 데이터 주변의 국소 영역에만 집중함으로써 전체 재처리를 피함으로써 배치 처리 대비 시간 복잡도를 감소시킨다.
• 데이터베이스의 변화를 추적하고 국소적 재클러스터링을 트리거하기 위해 델타 기반 메커니즘을 통합한다.
• 각 변경 후 배치 DBSCAN 출력 결과와 비교하여 인크리멘탈 업데이트 과정의 정당성을 검증한다.

실험 결과

연구 질문

• RQ1 인크리멘탈 DBSCAN 알고리즘이 배치 DBSCAN 결과와 더 이상 일치하지 않는 데이터 변화의 수준는 어느 정도인가?
• RQ2 삽입 또는 삭제 후 인크리멘탈 알고리즘이 전체 DBSCAN 알고리즘을 다시 실행하는 것보다 얼마나 효율적으로 클러스터를 갱신할 수 있는가?
• RQ3 데이터 밀도와 공간 분포가 인크리멘탈 클러스터링 과정의 안정성과 정확도에 어떤 영향을 미치는가?
• RQ4 인크리멘탈 접근 방식은 동적 데이터베이스에서 클러스터 형태와 아웃라이어 탐지 기능을 어떻게 유지하는가?
• RQ5 인크리멘탈 DBSCAN이 수용 가능한 정확도와 성능를 유지를 위한 최대 데이터 변화 비율은 얼마인가?

주요 결과

• 인크리멘탈 DBSCAN 알고리즘은 데이터 변화가 30% 이하일 경우 클러스터링 정확도를 수용 가능한 수준으로 유지한다.
• 특히 대규모 동적 데이터베이스에서 전체 배치 재처리 대비 계산 비용을 크게 감소시킨다.
• 데이터 업데이트 후에도 클러스터 구조를 성공적으로 유지하고 아웃라이어를 정확히 식별한다.
• 중간 수준의 데이터 변화에서 여러 업데이트 사이클에 걸쳐 안정적인 행동을 보이며, 배치 결과와의 편차가 최소한이다.
• 다차원 데이터베이스에서 확장성과 효율성을 입증하여 데이터 웨어하우스 응용 분야에 적합하다.
• 성능 저하가 30% 이상의 데이터 변화에서만 눈에 띄게 나타나, 신뢰할 수 있는 인크리멘탈 운영을 위한 실용적 임계점으로 작용한다.