[논문 리뷰] Bayesian Hierarchical Clustering with Exponential Family: Small-Variance Asymptotics and Reducibility

Juho Lee, Seungjin Choi|arXiv (Cornell University)|2015. 01. 29.

Bayesian Methods and Mixture Models참고 문헌 14인용 수 5

한 줄 요약

이 논문은 이론적 하이퍼파rameter 조정이 필요 없는 비확률적 BHC(Bayesian hierarchical clustering)의 대안인 이완된 베이지안 계층적 군집화(RBHC)를 제안한다. RBHC는 공액 지수족 모델에서의 소분산 점근적 접근을 활용하여 하이퍼파rameter 조정이 불필요해지도록 한다. RBHC는 거리 기반 방법과 유사한 확장성을 확보하면서도 BHC가 가지는 군집 수 추론의 유연성을 유지하며, 실질적으로 감소 가능성이 있는 이질성 측도를 제공함으로써 근접 이웃 체인 알고리즘(RBHC-nnca)을 통한 효율적인 트리 구축이 가능하다.

ABSTRACT

Bayesian hierarchical clustering (BHC) is an agglomerative clustering method, where a probabilistic model is defined and its marginal likelihoods are evaluated to decide which clusters to merge. While BHC provides a few advantages over traditional distance-based agglomerative clustering algorithms, successive evaluation of marginal likelihoods and careful hyperparameter tuning are cumbersome and limit the scalability. In this paper we relax BHC into a non-probabilistic formulation, exploring small-variance asymptotics in conjugate-exponential models. We develop a novel clustering algorithm, referred to as relaxed BHC (RBHC), from the asymptotic limit of the BHC model that exhibits the scalability of distance-based agglomerative clustering algorithms as well as the flexibility of Bayesian nonparametric models. We also investigate the reducibility of the dissimilarity measure emerged from the asymptotic limit of the BHC model, allowing us to use scalable algorithms such as the nearest neighbor chain algorithm. Numerical experiments on both synthetic and real-world datasets demonstrate the validity and high performance of our method.

연구 동기 및 목표

• 실용적 응용에서 베이지안 계층적 군집화(BHC)의 확장성과 하이퍼파rameter 민감도 문제를 해결하기 위해.
• 공액 지수족 모델에서의 소분산 점근적 접근를 활용하여 BHC의 비확률적이고 확장 가능한 대체 방법을 개발하기 위해.
• 유도된 이질성 측도의 감소 가능성을 조사하여 근접 이웃 체인 알고리즘을 통한 효율적인 트리 구축을 가능하게 하기 위해.
• RBHC가 철저한 하이퍼파rameter 조정 없이도 합성 및 실세계 데이터셋에서 높은 군집 성능을 유지하는지 확인하기 위해.

제안 방법

• 공액 지수족 우도에 대한 BHC 모델에 소분산 점근적 접근를 적용하여, 확률적 요소가 제거된 결정론적 비확률적 이질성 측도를 도출한다.
• BHC의 주변 가능도의 점근적 극한을 유도하여, 충분통계량과 군집 크기만에 의존하는 단순화된 이질성 함수를 도출한다.
• RBHC에서 유도된 이질성 측도가 높은 확률로 감소 가능함을 보이며, 이는 근접 이웃 체인 알고리즘을 통한 효율적인 트리 구축을 가능하게 한다.
• 두 가지 변형을 구현: RBHC-greedy(표준 탐욕적 병합 사용) 및 RBHC-nnca(시간과 공간 복잡도 향상을 위해 근접 이웃 체인 알고리즘 사용).
• Bregman 발산 기반 비용 최소화를 이론적 기초로 삼으며, RBHC를 기존 군집화 프레임워크와 연결한다.
• 가우시안, 포아송, 다항분포 가정 하에 합성 및 실세계 데이터셋에서 검증하며, BHC, 워드 방법, 연결 군집화와 비교한다.

실험 결과

연구 질문

• RQ1 소분산 점근적 접근를 통해 BHC 모델을 비확률적 형태로 이완시킬 수 있으며, 군집 수 추론의 민감성은 유지될 수 있는가?
• RQ2 이완된 모델(RBHC)에서 유도된 이질성 측도가 하이퍼파rameter 조정 없이도 높은 군집 정확도를 유지할 수 있는가?
• RQ3 RBHC의 이질성 측도는 실질적으로 감소 가능성이 있는가? 이는 시간과 공간 복잡도를 감소시키기 위해 근접 이웃 체인 알고리즘을 사용할 수 있도록 하는가?
• RQ4 다양한 데이터 분포와 실세계 데이터셋에서 전통적 응집 군집화 및 원래 BHC와 비교해 RBHC의 성능과 효율성은 어떠한가?

주요 결과

• RBHC-greedy와 RBHC-nnca는 대부분의 합성 데이터셋에서 가장 높은 군집 정확도를 기록했으며, 기존 응집 방법을 능가했고, BHC와 동등하거나 슈퍼어리어를 기록했다.
• 다항분포의 경우, BHC가 하이퍼파rameter 조정이 더 쉬워서 가장 우수한 성능을 보였지만, RBHC-nnca 역시 경쟁력 있었고 조정이 필요 없었다.
• 가우시안 가정 하에 MNIST 데이터셋에서 BHC는 49×49 정밀도 행렬 조정의 어려움으로 수렴하지 못했고, RBHC-greedy와 RBHC-nnca는 조정된 Rand 지수(ARI) 63.7%를 기록했으며, 워드 방법(48.5%)을 능가했다.
• 다중분포 가정 하에 Caltech101 데이터셋에서 BHC는 가장 높은 ARI(64.6%)를 기록했지만, RBHC-greedy와 RBHC-nnca는 56.0% ARI를 기록했으며, 모든 다른 기존 방법을 능가했다.
• 근접 이웃 체인 알고리즘(RBHC-nnca)은 공간 복잡도를 O(n)으로 감소시키고 시간 복잡도를 O(n²)로 줄여, 탐욕적 접근의 O(n² log n) 시간과 O(n²) 공간에 비해 크게 향상되었다.
• RBHC의 이질성 측도는 실질적으로 감소 가능성이 있었으며, 이는 이론적으로 모든 경우에서 감소 가능성 보장이 없더라도 효율적인 트리 구축이 가능함을 시사한다.