[논문 리뷰] Beyond Hartigan Consistency: Merge Distortion Metric for Hierarchical Clustering

Justin Eldridge, Mikhail A. Belkin외 1명|arXiv (Cornell University)|2015. 06. 21.

Topological and Geometric Data Analysis참고 문헌 14인용 수 22

한 줄 요약

이 논문은 계층적 군집화를 위한 새로운 거리 척도인 머지 왜곡 척도를 소개한다. 이는 하르티건 일致성 이상의 수렴를 측정하는 데 사용되며, 이 척도에서의 수렴이 과다 분할과 부적절한 내재화를 방지하는 두 가지 바람직한 성질인 분리성과 최소성을 암시함을 입증한다. 또한 이 척도 하에서 리emann 다양체 위에서 강건한 싱글 링크 및 스플릿 트리 군집 알고리즘의 수렴을 증명한다.

ABSTRACT

Hierarchical clustering is a popular method for analyzing data which associates a tree to a dataset. Hartigan consistency has been used extensively as a framework to analyze such clustering algorithms from a statistical point of view. Still, as we show in the paper, a tree which is Hartigan consistent with a given density can look very different than the correct limit tree. Specifically, Hartigan consistency permits two types of undesirable configurations which we term over-segmentation and improper nesting. Moreover, Hartigan consistency is a limit property and does not directly quantify difference between trees. In this paper we identify two limit properties, separation and minimality, which address both over-segmentation and improper nesting and together imply (but are not implied by) Hartigan consistency. We proceed to introduce a merge distortion metric between hierarchical clusterings and show that convergence in our distance implies both separation and minimality. We also prove that uniform separation and minimality imply convergence in the merge distortion metric. Furthermore, we show that our merge distortion metric is stable under perturbations of the density. Finally, we demonstrate applicability of these concepts by proving convergence results for two clustering algorithms. First, we show convergence (and hence separation and minimality) of the recent robust single linkage algorithm of Chaudhuri and Dasgupta (2010). Second, we provide convergence results on manifolds for topological split tree clustering.

연구 동기 및 목표

• 하르티건 일치성의 한계를 해결하기 위해, 계층적 군집 트리에서 과다 분할과 부적절한 내재화를 방지하지 못하는 문제를 해결하기 위함.
• 불리한 트리 구조를 제거하면서 하르티건 일치성을 암시하는 새로운 수렴 성질인 분리성과 최소성을 정의하기 위함.
• 의미 있는 군집 트리의 수렴을 측정할 수 있고 안정적인 메트릭인 머지 왜곡을 정의하기 위함.
• 머지 왜곡 척도에서의 수렴이 분리성과 최소성을 동시에 암시하고, 균일 조건 하에서는 그 반대도 성립함을 입증하기 위함.
• 두 실용적인 알고리즘인 강건한 싱글 링크 및 위상적 스플릿 트리 군집 알고리즘의 수렴을 검증하기 위해, 리emann 다양체 위에서의 프레임워크를 검증하기 위함.

제안 방법

• 군집화 과정에서의 머지 이벤트 왜곡에 기반하여 계층적 군집 트리 간의 거리로 머지 왜곡 척도를 제안함.
• 분리성은 군집이 조기에 병합되지 않아야 한다는 성질로 정의하고, 최소성은 불필요한 병합이 없음을 의미함.
• 밀도 함수의 리프시츠 연속성과 경험 밀도 추정을 사용하여 근접도 그래프 및 하위레벨 집합에서의 근사 오차를 통제함.
• 계산 기하학의 결과를 활용하여 경험 밀도의 근접도 그래프 및 수준 집합을 이용해 스플릿-클러스터 트리를 구성함.
• 머지 왜곡에서의 수렴이 분리성과 최소성을 모두 암시하고, 균일한 분리성과 최소성이 메트릭 수렴을 암시함을 증명함.
• 집중 불등식과 기하학적 추론을 활용하여, 기저 밀도 함수의 소규모 변형에 대해 메트릭의 안정성을 보임.

실험 결과

연구 질문

• RQ1 하르티건 일치성만으로도 계층적 군집 트리가 진정한 기저 밀도 구조를 과다 분할이나 부적절한 내재화 없이 반영할 수 있는가?
• RQ2 불리한 트리 구성요소를 제거하기 위해 추가로 필요한 성질은 무엇인가? (하르티건 일치성은 여전히 만족하나 불리한 트리가 존재함)
• RQ3 의미 있는 계층적 군집 트리의 수렴을 측정할 수 있고, 분리성과 최소성을 모두 암시하는 정량적 척도가 존재하는가?
• RQ4 머지 왜곡 척도를 사용하여 실용적인 군집 알고리즘, 예를 들어 강건한 싱글 링크 및 스플릿 트리 군집 알고리즘의 수렴을 증명할 수 있는가?
• RQ5 기저 밀도 함수의 소규모 변형에 대해 머지 왜곡 척도가 안정적인가?

주요 결과

• 머지 왜곡 척도에서의 수렴은 분리성과 최소성을 모두 암시하며, 이 두 성질이 함께 과다 분할과 부적절한 내재화를 제거함.
• 균일한 분리성과 최소성은 머지 왜곡 척도에서의 수렴과 동치임.
• 차우두리와 데이즈가 (2010) 제안한 강건한 싱글 링크 알고리즘이 머지 왜곡 척도 하에서 진짜 밀도 군집 트리로 수렴함.
• Riemann 다양체 위에서의 스플릿 트리 군집 알고리즘이 표본 크기가 증가함에 따라 진짜 고밀도 군집 트리로 수렴할 확률이 높아짐.
• 기저 밀도 함수의 소규모 변형에 대해 머지 왜곡 척도가 안정적이며, 추정 오차에 대해 강건함을 보임.
• 모든 ε > 0에 대해, 매개변수 r = 2ε로 구성된 스플릿-클러스터 트리에 대해 n → ∞ 일 때 d(C_f, Ĉ_f,n) ≤ (4c + 1)ε 이며, 확률 1로 성립함.