[논문 리뷰] Hierarchical Clustering: Objective Functions and Algorithms

Vincent Cohen-Addad, Varun Kanade외 2명|DSpace@MIT (Massachusetts Institute of Technology)|2017. 04. 07.

Advanced Clustering Algorithms Research참고 문헌 26인용 수 10

한 줄 요약

이 논문은 계층적 군집화에서 '좋은' 목적 함수를 정의하기 위한 공리적 프레임워크를 제안하며, 존재할 경우 참값 군집화를 선호하는 허용 가능한 비용 함수를 특성화한다. 유사도 기반 군집화에 대해 $O(\sqrt{\log n})$-근사, 이산화 기반 군집화에 대해 $3/2$-근사의 향상된 근사 알고리즘을 제공하며, 평균 연결법이 2-근사임을 보이고, 스토하스틱 블록 모델 가정 하에 near-최적 성능을 보임.

ABSTRACT

Hierarchical clustering is a recursive partitioning of a dataset into clusters at an increasingly finer granularity. Motivated by the fact that most work on hierarchical clustering was based on providing algorithms, rather than optimizing a specific objective, Dasgupta framed similarity-based hierarchical clustering as a combinatorial optimization problem, where a `good' hierarchical clustering is one that minimizes some cost function. He showed that this cost function has certain desirable properties. We take an axiomatic approach to defining `good' objective functions for both similarity and dissimilarity-based hierarchical clustering. We characterize a set of "admissible" objective functions (that includes Dasgupta's one) that have the property that when the input admits a `natural' hierarchical clustering, it has an optimal value. Equipped with a suitable objective function, we analyze the performance of practical algorithms, as well as develop better algorithms. For similarity-based hierarchical clustering, Dasgupta showed that the divisive sparsest-cut approach achieves an $O(\log^{3/2} n)$-approximation. We give a refined analysis of the algorithm and show that it in fact achieves an $O(\sqrt{\log n})$-approx. (Charikar and Chatziafratis independently proved that it is a $O(\sqrt{\log n})$-approx.). This improves upon the LP-based $O(\log n)$-approx. of Roy and Pokutta. For dissimilarity-based hierarchical clustering, we show that the classic average-linkage algorithm gives a factor 2 approx., and provide a simple and better algorithm that gives a factor 3/2 approx.. Finally, we consider `beyond-worst-case' scenario through a generalisation of the stochastic block model for hierarchical clustering. We show that Dasgupta's cost function has desirable properties for these inputs and we provide a simple 1 + o(1)-approximation in this setting.

연구 동기 및 목표

• 계층적 군집화를 위한 '좋은' 목적 함수를 공리적으로 정의하고, 자연스러운 참값 군집화를 선호하는 성질을 특성화하기.
• 실제로 사용되는 계층적 군집화 알고리즘의 최악의 경우 성능을 분석하기, 특히 평균 연결법과 희소 최소 컷 기반 방법에 중점을 두고.
• 유사도 기반 및 이산화 기반 계층적 군집화에 대해 더 빠르고 더 뛰어난 성능을 보이는 알고리즘을 개발하기.
• 일반화된 스토하스틱 블록 모델을 사용하여 최악의 경우가 아닌 상황에서의 알고리즘 성능을 평가하기.
• 기존 히وري스틱 기반 알고리즘에 이론적 보장을 제공하고, 이전의 근사 한계를 향상시키기.

제안 방법

• 유사도 및 이산화 그래프에 대해 공리적 성질을 만족하는 허용 가능한 비용 함수의 집합을 도입하며, 이는 이산된 구성요소의 분리 및 무구조적 그래프에서의 불변성 포함.
• 유사도 기반 군집화에 대해 재귀적 희소 최소 컷 접근법을 사용하며, 개선된 분석을 통해 $O(\sqrt{\log n})$-근사 성능 확보. 이는 이전의 $O(\log n)$ 한계를 향상시킴.
• 이산화 기반 군집화를 위한 새로운 알고리즘을 제안하며, $3/2$-근사 성능 달성. 이는 최악의 경우 평균 연결법의 2-근사보다 뛰어남.
• 일반화된 계층적 스토하스틱 블록 모델(HSBM)에 Dasgupta 비용 함수를 적용하여, 단순한 알고리즘이 이러한 입력에서 $1 + o(1)$-근사 성능을 달성함을 보임.
• 정의된 목적 함수 하에서 일부 군집화가 최적임을 증명하기 위해 그래프 구조와 트리 구조 간의 전단사 관계를 활용한 재귀적 병합 전략을 사용.
• 단일 연결법, 완전 연결법, 이등분 2-센터의 최악의 경우 성능이 최적값의 $O(\text{OPT}/n)$ 수준이 될 수 있음을 보여주는 최악의 입력 구성 기법을 사용함.

실험 결과

연구 질문

• RQ1 계층적 군집화를 위한 좋은 목적 함수가 자연스러운 군집화 구조를 반영하기 위해 만족해야 할 공리적 성질은 무엇인가?
• RQ2 평균 연결법과 같은 기존 히وري스틱 알고리즘이 근사 보장에 의해 이론적으로 정당화될 수 있는가?
• RQ3 유사도 기반 계층적 군집화에서 달성 가능한 최악의 경우 근사 비율은 무엇이며, 이는 $O(\log n)$를 초월해 향상시킬 수 있는가?
• RQ4 유사도 기반 계층적 군집화에서 달성 가능한 최악의 경우 근사 비율은 무엇이며, 이는 $O(\log n)$를 초월해 향상시킬 수 있는가?
• RQ5 실제로 사용되는 비균형적인 입력, 예를 들어 계층적 스토하스틱 블록 모델에서 생성된 입력에서 알고리즘이 어떻게 작동하는가?
• RQ6 더 빠르고 더 정확한 알고리즘을 설계하여 기존 히وري스틱보다 더 나은 근사 비율을 달성할 수 있는가?

주요 결과

• 재귀적 희소 최소 컷 알고리즘이 유사도 기반 계층적 군집화에서 $O(\sqrt{\log n})$-근사 성능을 달성하며, 이는 이전의 $O(\log^{3/2}n)$ 한계를 향상시킴.
• 이산화 기반 군집화를 위한 새로운 알고리즘이 $3/2$-근사 성능을 달성하며, 최악의 경우 평균 연결법의 2-근사보다 뛰어남.
• 평균 연결법은 이산화 기반 군집화에서 2-근사 성능을 달성하며, 이는 최악의 경우에 대해 날카로운 상한임을 증명함.
• Dasgupta 비용 함수는 일반화된 계층적 스토하스틱 블록 모델(HSBM) 하에서 잘 작동하며, 단순한 알고리즘이 $1 + o(1)$-근사 성능을 달성함.
• 단일 연결법, 완전 연결법, 이등분 2-센터는 최적값의 $O(\text{OPT}/n)$ 수준의 해를 생성할 수 있어, 최악의 경우에 매우 나쁜 성능을 보임.
• 논문은 메트릭 공간 내 모든 해가 $\Omega(\text{OPT})$의 값을 가짐을 증명하며, 이는 최악의 경우 근사 비율이 유한하고 의미가 있음을 시사함.