[논문 리뷰] Anytime Hierarchical Clustering

Ömür Arslan, Daniel E. Koditschek|arXiv (Cornell University)|2014. 04. 13.

Advanced Clustering Algorithms Research참고 문헌 39인용 수 3

한 줄 요약

이 논문은 단일, 평균, 완전 연결과 같은 일반적인 연결 함수와 호환되는 균일성 기준을 사용하여 국소적으로 트리 구조를 재조정함으로써, 초기 클러스터링 계층을 반복적으로 향상시키는 anytime 계층적 클러스터링 알고리즘을 제안한다. 이 방법은 전역적으로 균일한 트리로 유한 수렴을 보장하며, 일정 시간 내에 수행 가능한 국소적 업데이트를 통해 확장성 있고 분산형이며 온라인 클러스터링을 가능하게 한다.

ABSTRACT

We propose a new anytime hierarchical clustering method that iteratively transforms an arbitrary initial hierarchy on the configuration of measurements along a sequence of trees we prove for a fixed data set must terminate in a chain of nested partitions that satisfies a natural homogeneity requirement. Each recursive step re-edits the tree so as to improve a local measure of cluster homogeneity that is compatible with a number of commonly used (e.g., single, average, complete) linkage functions. As an alternative to the standard batch algorithms, we present numerical evidence to suggest that appropriate adaptations of this method can yield decentralized, scalable algorithms suitable for distributed/parallel computation of clustering hierarchies and online tracking of clustering trees applicable to large, dynamically changing databases and anomaly detection.

연구 동기 및 목표

• 대규모이고 빠르게 변화하는 데이터 세트에서의 배치 계층적 클러스터링의 한계를 해결하기 위해 anytime, 반응형, 확장 가능한 클러스터링을 가능하게 하기 위해.
• 전체 재클러스터링 없이도 클러스터 균일성을 향상시키는 국소적 반복 재조직화 메커니즘을 개발하기 위해.
• 일반적인 연결 함수에 대해 알고리즘이 전역적으로 균일한 계층으로 유한 수렴함을 증명하기 위해.
• 국소적 트리 재구성 기반으로 분산형 및 병렬 계산을 통해 클러스터링 계층을 계산할 수 있도록 하기 위해.
• 이상 탐지와 같은 실시간 응용 분야에서 클러스터링 트리의 온라인 추적을 지원하기 위해.

제안 방법

• 해당 방법은 계층의 각 노드에서 클러스터 품질을 평가하기 위해 연결 함수를 통한 균일성 기준을 정의한다.
• 각 재귀 단계에서 국소적 균일성을 향상시키기 위해 특별히 최근접이웃 교환(Nearest Neighbor Interchange, NNI)을 적용한다.
• 각 NNI 이동은 충분한 통계량(예: 평균, 분산)을 사용해 일정 시간 내에 계산되므로 확장성이 보장된다.
• 알고리즘은 anytime 방식으로 재귀적으로 적용되어 점점 더 균일한 클러스터 트리를 생성하는 시퀀스를 생성한다.
• 단일, 완전, 평균, 최소최대, 워드 연결과 같은 연결 함수의 일부 클래스에 대해 알고리즘이 유한 시간 내에 수렴함을 증명하였다.
• 프레임워크는 증분 업데이트와 동적 거리 측정을 지원하여 온라인 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 국소적 반복적 재조직화가 전역적 균일성과 유한 수렴을 달성할 수 있는가?
• RQ2 정확도와 수렴 성능 측면에서 anytime 클러스터링 방법은 표준 배치 클러스터링과 어떻게 비교되는가?
• RQ3 이 방법은 대규모 또는 동적 데이터 환경에서 분산형, 병렬형 또는 온라인 계산에 어떻게 적용될 수 있는가?
• RQ4 균일성 기준과 전통적인 연결 기반 클러스터링 결과 사이의 관계는 무엇인가?
• RQ5 이 방법은 클러스터링 중에 동시에 거리 측정 학습을 지원하도록 확장될 수 있는가?

주요 결과

• 정규화된 클러스터링 방법은 단일, 완전, 평균, 최소최대, 워드 연결과 같은 광범위한 연결 함수 클래스에 대해 전역적으로 균일한 계층으로 유한 시간 내에 수렴한다.
• 단일 연결의 경우, 초기 계층의 구조에 관계없이 표준 배치 응집 클러스터링이 생성하는 유일한 트리로 수렴한다.
• 실험 결과에 따르면, anytime 및 증분 클러스터링은 평균 및 워드 연결의 경우 배치 응집 클러스터링과 유사한 성능을 보이며, 코페네틱 상관계수는 기준값과 유사하다.
• 완전 및 최소최대 연결의 경우 상호 클러스터 간 거리의 과대평가로 성능가 낮지만, 실용적으로는 효과적이다.
• 단일 연결의 경우 반복 수가 이차함수적으로 증가하고, 다른 연결 함수의 경우 선형 증가가 가능하므로 향후 최적화를 통해 확장성이 높아질 것으로 예상된다.
• 초기화 품질이 더 우수한 증분 클러스터링이 anytime 클러스터링보다 성능이 뛰어나지만, 두 방법 모두 무작위 초기 트리에 비해 상당히 향상된 성능을 보였다.