[논문 리뷰] Nearest-Neighbour-Induced Isolation Similarity and its Impact on Density-Based Clustering

Xiaoyu Qin, Kai Ming Ting외 2명|arXiv (Cornell University)|2019. 06. 30.

Advanced Clustering Algorithms Research참고 문헌 30인용 수 12

한 줄 요약

이 논문은 밀도가 다양한 데이터셋에서 DBSCAN의 거리 척도를 대체하는 최근접 이웃 기반 Isolation Similarity 방법을 제안하며, 클러스터링 성능을 크게 향상시킨다. 이는 유사도의 성질을 엄밀히 증명하고, 질량 기반 연결 클러스터를 도입하며, 이 유사도를 사용한 DBSCAN이 최신 기술인 DP 알고리즘을 능가함을 보여준다.

ABSTRACT

A recent proposal of data dependent similarity called Isolation Kernel/Similarity has enabled SVM to produce better classification accuracy. We identify shortcomings of using a tree method to implement Isolation Similarity; and propose a nearest neighbour method instead. We formally prove the characteristic of Isolation Similarity with the use of the proposed method. The impact of Isolation Similarity on density-based clustering is studied here. We show for the first time that the clustering performance of the classic density-based clustering algorithm DBSCAN can be significantly uplifted to surpass that of the recent density-peak clustering algorithm DP. This is achieved by simply replacing the distance measure with the proposed nearest-neighbour-induced Isolation Similarity in DBSCAN, leaving the rest of the procedure unchanged. A new type of clusters called mass-connected clusters is formally defined. We show that DBSCAN, which detects density-connected clusters, becomes one which detects mass-connected clusters, when the distance measure is replaced with the proposed similarity. We also provide the condition under which mass-connected clusters can be detected, while density-connected clusters cannot.

연구 동기 및 목표

• 트리 기반 방법이 Isolation Similarity를 유도하는 데 있어 국소 밀도 구조를 제대로 포착하지 못하는 한계를 해결한다.
• DBSCAN의 파rameter 설정에 민감하고, 다양한 밀도 구역에서 클러스터를 탐지하지 못하는 문제를 해결한다.
• 이질적인 밀도 분포를 가진 데이터셋을 위해 밀도 기반 연결 클러스터보다 우월한 대안으로 질량 기반 연결 클러스터를 엄밀히 정의한다.
• DBSCAN의 거리 척도를 최근접 이웃 기반 Isolation Similarity로 대체함으로써, 다양한 밀도를 가진 데이터셋에서 클러스터링 정확도가 크게 향상되며, 최신 기술인 DP를 능가함을 보여준다.
• 사람의 인식과 유사하게 희박한 영역와 밀도가 높은 영역에서의 유사도를 반영하는 이론적으로 탄탄한, 데이터 적응형 유사도 척도를 구축한다.

제안 방법

• 트리 기반 고립 분할을 최근접 이웃 기반 방법(aNNE)으로 대체하여 Isolation Similarity를 유도하며, k-최근접 이웃을 사용해 유사도를 추정한다.
• Isolation Similarity를 무작위 샘플링 하에 두 점이 같은 고립 파artition에 속할 확률로 정의하며, 파artition의 기대값을 통해 수식화한다.
• 제안된 유사도가 핵심 성질을 만족함을 증명한다: 희박한 영역에 있는 점들은 같은 거리에 있는 밀도가 높은 영역의 점들보다 더 유사하다.
• 질량 기반 연결 클러스터를 도입하며, 이는 점들이 거리가 아닌 높은 유사도를 통해 연결된 클러스터로, 복잡한 밀도 구조에서의 탐지에 더 유리하다.
• 거리 척도를 제안된 Isolation Similarity로 대체함으로써 DBSCAN의 논리 구조를 유지한 채로 MBSCAN(수정된 DBSCAN)을 구현한다.
• GPU 가속을 통한 aNNE를 활용해 효율적인 유사도 계산을 구현하며, iForest의 O(ψ²) 복잡도와는 달리 ψ에 대해 거의 일정한 런타임을 달성한다.

실험 결과

연구 질문

• RQ1 iForest와 같은 트리 기반 방법에 비해 최근접 이웃 기반 방법이 국소 밀도 변화를 더 잘 포착할 수 있는가, 특히 밀도가 다양하거나 고차원인 데이터셋에서?
• RQ2 제안된 Isolation Similarity가 원하는 성질을 엄밀히 만족하는가: 즉, 같은 거리에 있는 점들 중 희박한 영역에 있는 점들이 더 높은 유사도를 가지는가?
• RQ3 DBSCAN의 거리 척도를 제안된 Isolation Similarity로 대체하면, 다양한 밀도를 가진 데이터셋에서 클러스터링 성능이 크게 향상되는가?
• RQ4 질량 기반 연결 클러스터는 어떤 조건에서 탐지될 수 있으며, 밀도 기반 연결 클러스터에 비해 언제 유리한가?
• RQ5 제안된 유사도를 사용한 MBSCAN의 성능은 DP, ReScale, DScale와 같은 최신 기술의 밀도 기반 클러스터링 알고리즘과 비교해 어떻게 되는가?

주요 결과

• 제안된 최근접 이웃 기반 Isolation Similarity(aNNE 기반)는 정확도와 효율성 면에서 트리 기반 iForest를 모두 능가하며, 특히 고차원 및 다양한 밀도를 가진 데이터셋에서 두드러진다.
• aNNE 기반 Isolation Similarity를 사용한 MBSCAN은 DP 알고리즘을 크게 능가하며, 테스트된 모든 데이터셋에서 뛰어난 클러스터링 정확도를 달성한다.
• Nemenyi 사후 검정을 통한 유의성 검정에서, aNNE 기반 MBSCAN은 DP 및 iForest 기반 MBSCAN보다 유의미하게 뛰어나며, DP와 iForest 기반 MBSCAN 간에는 유의미한 차이가 없음을 확인했다.
• 큰 데이터셋에서 aNNE의 구현은 iForest 대비 최대 10배 빠르며, GPU 가속 덕분에 ψ에 관계없이 거의 일정한 런타임을 확보한다.
• MBSCAN의 런타임에서 이질성 행렬 계산 전처리 단계가 지배적이지만, 효율적인 aNNE 계산 덕분에 여전히 처리 가능하다.
• 형식적 증명을 통해 제안된 Isolation Similarity가 핵심 성질을 만족함을 입증했다: 즉, 희박한 영역에 있는 점들은 같은 거리에 있는 밀도가 높은 영역의 점들보다 더 유사하다. 이는 그 유사도가 데이터 적응형임을 검증한다.