[논문 리뷰] Methods of Hierarchical Clustering

Fionn Murtagh, Pedro Contreras|arXiv (Cornell University)|2011. 04. 30.

Advanced Clustering Algorithms Research참고 문헌 48인용 수 101

한 줄 요약

이 논문은 R 및 기타 환경에서의 효율적인 알고리즘에 중점을 두어 계층적 군집화 방법에 대한 종합적인 서베이를 제시한다. 특히 격자 기반 및 선형 시간 접근법에 초점을 맞추고 있다. 본 논문은 Baire 거리 척도를 기반으로 하는 공통 접두어 구조를 활용하여 빠르고 확장 가능한 군집화를 가능하게 하는 새로운 선형 시간 계층적 군집화 방법인 m-adic 군집화를 소개한다. 이는 특히 대규모 데이터 세트에서 매우 효과적이다.

ABSTRACT

We survey agglomerative hierarchical clustering algorithms and discuss efficient implementations that are available in R and other software environments. We look at hierarchical self-organizing maps, and mixture models. We review grid-based clustering, focusing on hierarchical density-based approaches. Finally we describe a recently developed very efficient (linear time) hierarchical clustering algorithm, which can also be viewed as a hierarchical grid-based algorithm.

연구 동기 및 목표

• 계산 효율성과 적용 가능성에 중점을 두어 적응 가능한 종합적인 응집형 계층적 군집화 알고리즘 개요를 제공한다.
• 새로운 격자 기반 및 밀도 기반 접근법을 통해 계층적 군집화를 대규모 데이터 세트에 확장하는 데 도전하는 문제를 해결한다.
• 성능 향상을 위해 m-adic(Baire) 거리 기반의 새로운 선형 시간 계층적 군집화 알고리즘을 소개하고 검증한다.
• 이론적 기초와 화학정보학, 천문학, 텍스트 검색 등의 분야에서의 실세계 응용 간 다리를 놓는다.
• 伝통적인 계층적 방법과 최신의 효율적인 대안(예: 계층적 자기조직화 지도 및 모델 기반 군집화)을 비교·대조한다.

제안 방법

• Lance-Williams 공식을 활용하여 다양한 응집형 계층적 군집화 알고리즘을 통합적이고 계산적으로 다룰 수 있는 프레임워크로 표현한다.
• 재귀적 근접 이웃 및 근접 이웃 체인 알고리즘을 적용하여 응집형 군집화에서 반복적인 거리 계산을 줄여 계산 속도를 향상시킨다.
• Baire 거리 척도를 적용한다. 이는 데이터 포인트의 m-adic(예: 10진수 또는 2진수) 표현에서 가장 긴 공통 접두어의 길이로 정의되며, 계층적 구조를 유도한다.
• 격자 기반 군집화 전략을 적용한다. 여기서 데이터 포인트는 m-adic 전개 기반으로 셀로 분할되며, 높은 밀도를 보이는 셀 단위에서 군집화가 수행된다.
• Baire 거리의 초초등성(ultrametric property)을 활용하여 계층적 일관성을 보장하고 효율적인 하향식 군집화를 가능하게 한다.
• m-adic 수 체계의 계층적 성질을 활용하여 m-adic 군집화를 선형 시간 알고리즘으로 통합함으로써 n개의 데이터 포인트에 대해 O(n) 복잡도를 달성한다.

실험 결과

연구 질문

• RQ1 대규모 데이터 세트에 대해 군집화 품질을 훼손하지 않으면서 계층적 군집화의 계산 효율성을 어떻게 높일 수 있는가?
• RQ2 기존의 유클리드 또는 민코프스키 거리 척도와 비교해 볼 때, Baire 거리 척도를 계층적 군집화에 사용할 경우 이론적 및 실용적 이점은 무엇인가?
• RQ3 격자 기반 및 밀도 기반 군집화 방법은 계층적 군집화에서 확장성과 형태의 융통성에 어떤 방식으로 기여하는가?
• RQ4 m-adic 군집화 알고리즘은 계층적 구조와 군집 유효성을 유지하면서도 어떻게 선형 시간 복잡도를 달성하는가?
• RQ5 텍스트 검색 및 화학정보학과 같은 실세계 응용에 계층적 군집화 알고리즘을 구현할 때 고려해야 할 주요 구현 사항은 무엇인가?

주요 결과

• m-adic 군집화 알고리즘은 m-adic 수 체계의 계층적 성질을 활용하여 선형 시간 복잡도 O(n)을 달성함으로써 대규모 데이터 세트의 효율적 군집화를 가능하게 한다.
• 가장 긴 공통 접두어 기반의 Baire 거리 척도는 초초등 공간을 유도하여 자연스럽게 계층적 군집화를 지원하고 잘 정의된 군집 계층을 보장한다.
• 격자 기반 및 밀도 기반 접근법(예: DENCLUE 및 CUBN)은 임의의 형태의 군집을 탐지하고 고차원 데이터에서 노이즈를 효과적으로 다루는 데 있어 뛰어난 강건성을 보였다.
• 재귀적 근접 이웃 및 근접 이웃 체인 알고리즘은 응집형 군집화에서 반복적인 거리 계산을 피함으로써 계산 오버헤드를 크게 감소시켰다.
• 제안된 m-adic 방법은 화학정보학, 천문학, 텍스트 검색 분야에 성공적으로 적용되어 강력한 경험적 성능과 확장성을 입증했다.
• 계층적 자기조직화 지도 및 모델 기반 군집화는 군집 출력에 위상적 또는 확률적 구조가 필요한 응용 분야에서 효과적인 대안을 제공한다.