[논문 리뷰] Clustering Using Isoperimetric Number of Trees

Amir Daneshgar, Ramin Javadi외 1명|arXiv (Cornell University)|2012. 03. 19.

Anomaly Detection Techniques and Applications참고 문헌 14인용 수 3

한 줄 요약

이 논문은 최소 스패닝 트리의 등면적 수를 사용하여 정확하고 효율적인 클러스터링을 O(n log n) 시간에 달성하는 새로운 그래프 기반 클러스터링 알고리즘을 제안한다. 정규화된 컷 문제의 하위분할 기반의 완화를 도입하여 트리에서 정확한 k-클러스터링을 가능하게 하며, 잔여 기반의 이상치 프로파일을 통해 동시에 이상치 탐지가 가능하게 하였고, 이론적 보장과 벤치마크 데이터셋에서의 뛰어난 경험적 성능을 제공한다.

ABSTRACT

In this paper we propose a graph-based data clustering algorithm which is based on exact clustering of a minimum spanning tree in terms of a minimum isoperimetry criteria. We show that our basic clustering algorithm runs in $O(n \log n)$ and with post-processing in $O(n^2)$ (worst case) time where $n$ is the size of the data set. We also show that our generalized graph model which also allows the use of potentials at vertices can be used to extract a more detailed pack of information as the {\it outlier profile} of the data set. In this direction we show that our approach can be used to define the concept of an outlier-set in a precise way and we propose approximation algorithms for finding such sets. We also provide a comparative performance analysis of our algorithm with other related ones and we show that the new clustering algorithm (without the outlier extraction procedure) behaves quite effectively even on hard benchmarks and handmade examples.

연구 동기 및 목표

• 일般적인 데이터 클러스터링을 위한 그래프 이론적 등면적 수에 기반한 이론적으로 탄탄하고 효율적인 클러스터링 알고리즘 개발.
• 정규화된 컷과 스펙트럴 클러스터링의 한계를 보완하기 위해 분할에서 하위분할로의 완화를 통해 자연스러운 이상치 탐지 기능을 제공.
• 일반 그래프에서의 NP-난이도 문제를 극복하기 위해 등면적 기준을 사용하여 트리에서 k-클러스터링에 대한 다항시간 정확한 해를 제공.
• 정점의 잠재력이 포함된 일반화된 그래프 모델을 통해 동시에 클러스터링과 이상치 집합 식별을 가능하게 함.
• 기존 방법들과 비교하여 디지털 벤치마크 및 인위적 데이터셋에서 뛰어난 경험적 성능을 입증함.

제안 방법

• 계산 복잡도를 낮추면서도 필수적인 연결성을 유지하기 위해 데이터의 유사성 그래프에서 최소 스패닝 트리(MST)를 구성한다.
• 하위분할로의 분할 완화를 통해 k-등면적 수 기준—하위분할 간 정규화된 유량을 최소화—을 적용하여 최적의 클러스터 경계를 정의한다.
• 핵심 방법은 트리에서 k-하위분할을 최적화하기 위한 근사적이고 하향식 접근으로, k-등면적 수 문제의 경우 트리에서는 다항시간 내에 해를 구할 수 있음을 활용한다.
• 미분류된 정점을 수량화하기 위해 잔여 수를 도입하여 이상치 집합의 공식적 정의와 탐지를 가능하게 한다.
• 지역 스케일링과 정점의 잠재력을 통합하여 데이터 구조에 대한 민감도를 향상시키고 파rameter 선택에 대한 강건성을 향상시킨다.
• O(n²) 시간에 후처리를 수행하여 클러스터를 정밀 조정하고 이상치 프로파일을 추출함으로써 계층적 데이터 유사성 분석을 지원한다.

실험 결과

연구 질문

• RQ1 k-등면적 수 문제는 트리에서 정확하고 효율적으로 해결될 수 있는가? 이를 통해 새로운 정확한 클러스터링 알고리즘의 클래스를 만들 수 있는가?
• RQ2 분할에서 하위분할로의 완화는 클러스터링의 강건성 향상과 자연스러운 이상치 탐지 기능 향상에 어떻게 기여하는가?
• RQ3 등면적 접근은 디지털 벤치마크에서 스펙트럴 클러스터링 및 정규화된 컷 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ4 정점의 잠재력과 지역 스케일링의 역할은 알고리즘이 이심 데이터 포인트를 탐지하는 데 어떤 기여를 하는가?
• RQ5 잔여 수는 이상치 집합을 식별하기 위한 공식적이고 계산 가능한 측정 기준으로서 어떤 역할을 하는가?

주요 결과

• k-등면적 수 문제는 트리에서 효율적으로 해결 가능하여 O(n log n) 시간 내에 정확한 k-클러스터링을 가능하게 하며, 이는 핵심 이론적 기여이다.
• 알고리즘은 MST의 부분트리에서 정확한 클러스터링을 수행하여 이전 방법들이 사용하는 반복적 분할 또는 스펙트럴 근사치를 피한다.
• 잔여 수를 통해 이상치 집합을 탐지하며, 3-PARTITION 문제로의 공식적 감소를 통해 일반 문제의 NP-난이도를 증명한다.
• 경험적 결과는 디지털 벤치마크 및 인위적 데이터셋에서 뛰어난 성능을 보이며, 다양한 스케일링 파rameter 하에서도 이상치 추출에 성공한다.
• 기존 방법들과 달리 지역 스케일링 파rameter에 대해 강건성을 유지하며, 이상치 탐지에 대한 튜닝이 필요하지 않다.
• 이론적 분석을 통해 구성된 트리에서 최적의 하위분할 비용이 1/(B+1)과 같음을 확인하였으며, 이는 해가 3-PARTITION 결정 문제와 연결됨을 시사한다.