[논문 리뷰] An Information-theoretic Perspective of Hierarchical Clustering

Yicheng Pan, Feng Zheng외 1명|arXiv (Cornell University)|2021. 08. 13.

Advanced Clustering Algorithms Research참고 문헌 12인용 수 5

한 줄 요약

이 논문은 구조 엔트로피 기반의 정보 이론적 목적 함수를 사용하여 하이퍼파rameter 없이 자연스럽게 계층 수준의 수를 결정하는 새로운 계층적 군집화 알고리즘 HCSE를 제안한다. 스트레치 및 압축 연산을 사용해 군집 트리의 가장 희박한 수준을 반복적으로 계층화함으로써, HCSE는 합성 데이터에서 내재된 계층을 식별하는 데서 LOUVAIN과 HLP를 능가하고, 실제 네트워크에서 구조적 균형을 유지하고 구조 엔트로피 기반 비용을 최소화하는 데 경쟁력 있는 성능을 보인다.

ABSTRACT

A combinatorial cost function for hierarchical clustering was introduced by Dasgupta \cite{dasgupta2016cost}. It has been generalized by Cohen-Addad et al. \cite{cohen2019hierarchical} to a general form named admissible function. In this paper, we investigate hierarchical clustering from the \emph{information-theoretic} perspective and formulate a new objective function. We also establish the relationship between these two perspectives. In algorithmic aspect, we get rid of the traditional top-down and bottom-up frameworks, and propose a new one to stratify the \emph{sparsest} level of a cluster tree recursively in guide with our objective function. For practical use, our resulting cluster tree is not binary. Our algorithm called HCSE outputs a $k$-level cluster tree by a novel and interpretable mechanism to choose $k$ automatically without any hyper-parameter. Our experimental results on synthetic datasets show that HCSE has a great advantage in finding the intrinsic number of hierarchies, and the results on real datasets show that HCSE also achieves competitive costs over the popular algorithms LOUVAIN and HLP.

연구 동기 및 목표

• 계층적 군집화에서 허용 가능한 비용 함수의 한계를 해결하기 위해, 이는 비균형 트리를 선호하고 내재된 계층 탐지 기능이 부족하다.
• 균형 잡힌 군집 트리를 본질적으로 촉진하는 정보 이론적 목적 함수를 개발하여, 자연스러운 계층의 인지적 및 구조적 직관과 일치시킨다.
• 하이퍼파rameter가 필요 없이 계층의 수를 자동으로 결정하는 군집 알고리즘을 설계한다.
• 구조 엔트로피를 통해 조합적 비용 함수(예: Dasgupta)와 정보 이론적 원리 사이의 다리를 놓는다.
• 균형과 해석 가능성의 요소를 군집 과정에 통합함으로써 기존 히وري스틱 알고리즘인 LOUVAIN과 HLP를 향상시킨다.

제안 방법

• Li와 Pan의 이론에서 유도된 구조 엔트로피 기반의 새로운 비용 함수를 제안하여 계층 네트워크의 복잡성을 측정한다.
• 최적의 코딩 이론에서 영감을 얻어 트리의 균형을 본질적인 요소로 포함한 새로운 목적 함수를 정의한다.
• 군집 트리의 가장 희박한 수준을 반복적으로 식별하고 정밀화하기 위해 두 가지 원자 연산인 '스트레치'와 '압축'을 도입한다.
• 기존의 상향식 또는 하향식 군집화 방식을 피하고, 가장 희박한 수준 최적화에 집중하는 재귀적 계층화 프레임워크를 개발한다.
• 구조 엔트로피 기반의 자동 정지 기준을 설계하여 하이퍼파rameter 없이 내재된 계층 수준의 수를 식별한다.
• 모든 비용 함수에 호환 가능한 일반 프레임워크로 HCSE를 구현하며, 구조 엔트로피 최소화와 균형 잡힌, 해석 가능한 트리를 달성하는 데 중점을 둔다.

실험 결과

연구 질문

• RQ1 구조 엔트로피 기반의 정보 이론적 목적 함수가 계층적 군집화에서 허용 가능한 비용 함수의 더 자연스럽고 균형 잡힌 대안이 될 수 있는가?
• RQ2 클리크의 최적 군집 트리에서 전체 균형을 보장하는 비용 함수의 생성 함수 g에 대한 조건은 무엇인가?
• RQ3 균일하게 가중된 클리크의 경우에 최적의 균형 잡힌 군집 트리를 달성하기 위한 필수 및 충분조건은 무엇인가?
• RQ4 하이퍼파rameter 없이 계층의 수를 자동으로 해석 가능하게 결정할 수 있는가?
• RQ5 비선형이고 부피에 의존하는 비용 함수인 구조 엔트로피는 근사 보장이 있는 효과적인 최적화가 가능한가?

주요 결과

• k-level HSBM 모델로 생성된 합성 데이터셋에서, HCSE는 진정한 계층 수준 수를 식별하는 데서 LOUVAIN과 HLP를 크게 능가하여 내재된 계층 탐지 능력이 뛰어나다.
• 실제 세계 네트워크에서, HCSE는 10개의 네트워크 중 8개에서 가장 낮은 구조 엔트로피 비용(cost(SE))을 기록했고, 모든 테스트 데이터셋에서 경쟁력 있는 Dasgupta 비용(cost(Das))을 달성했다.
• CSphd 네트워크의 가장 큰 부분그래프에서, HCSE는 평균 재현율 지수(Jaccard index) 0.20을 기록하여 HLP(0.16)와 LOUVAIN(0.17)을 능가하며 진정한 군집과의 일치도가 높음을 보였다.
• 유사한 계층 수(±1 또는 2)를 가진 네트워크에서는 HCSE가 모든 경우에서 최고의 cost(Das)를 기록했고, LOUVAIN는 깊은 트리로 인해 소수의 경우에서만 우수한 성능을 보였다.
• 알고리즘은 하이퍼파rameter 없이 계층의 수를 자동으로 결정하며, 다양한 데이터셋에서 일관되고 해석 가능한 계층 깊이를 보였다.
• HLP는 모든 지표에서 HCSE나 LOUVAIN를 능가하지 못했으며, 이는 히وري스틱 성격이 균형과 비용 최소화 측면에서 최적의 성능을 내지 못함을 시사한다.