[논문 리뷰] Efficient hierarchical clustering for continuous data

Ricardo Henao, Joseph E. Lucas|arXiv (Cornell University)|2012. 04. 20.

Gaussian Processes and Bayesian Inference참고 문헌 17인용 수 3

한 줄 요약

이 논문은 연속적이고 i.i.d.가 아닌 데이터를 위한 베이지안 계층적 군집화를 위해 공통화된 사전분포와 가우시안 프로세스 모델링을 사용하는 효율적인 순차 몽테카를로(SMC) 샘플러를 제안한다. 이는 원래의 세제곱 시간 복잡도 샘플러에 비해 런타임을 크게 줄이며 이차 시간 복잡도를 달성함으로써 높은 성능을 유지한다. 또한, 특히 소규모 데이터셋에서 이전 방법보다 뛰어난 성능을 보이는 개선된 탐욕 알고리즘을 도입한다.

ABSTRACT

We present an new sequential Monte Carlo sampler for coalescent based Bayesian hierarchical clustering. Our model is appropriate for modeling non-i.i.d. data and offers a substantial reduction of computational cost when compared to the original sampler without resorting to approximations. We also propose a quadratic complexity approximation that in practice shows almost no loss in performance compared to its counterpart. We show that as a byproduct of our formulation, we obtain a greedy algorithm that exhibits performance improvement over other greedy algorithms, particularly in small data sets. In order to exploit the correlation structure of the data, we describe how to incorporate Gaussian process priors in the model as a flexible way to model non-i.i.d. data. Results on artificial and real data show significant improvements over closely related approaches.

연구 동기 및 목표

• 비-i.i.d. 연속적 데이터에 대한 원리적인 베이지안 계층적 군집화 방법의 부족을 해결하기 위해.
• 근사 없이 계층적 군집화의 계산 비용을 세제곱 복잡도에서 이차 복잡도로 감소시키기 위해.
• Teh 등(2008)의 탐욕 알고리즘을 개선하기 위해, 소규모 데이터셋에서 더 나은 성능을 보이는 보정된 버전을 유도하기 위해.
• 연속적 데이터의 상관관계 구조를 모델링하기 위해 가우시안 프로세스 사전분포를 통합하기 위해.
• 더 큰 모델의 구성 요소로 계층적 군집화를 사용할 수 있도록 확장 가능한 추론 방법을 개발하기 위해.

제안 방법

• 계층적 트리 구조의 사후분포에서 효율적으로 샘플링하는 순차 몽테카를로(SMC) 샘플러를 제안한다.
• 이진 트리 구조와 융합 시간에 대한 비정보적 사전분포로 Kingman의 공통화된 사전분포를 사용한다.
• 연속적 데이터의 비-i.i.i.d. 의존성을 모델링하기 위해 가우시안 프로세스 사전분포를 통합하여, 민감한 상관관계 구조 학습이 가능하도록 한다.
• 융합 시간에 대한 사후분포가 일반화된 역가우시안(GIG) 분포를 따르도록 유도하여, 효율적인 SMC 재표본화를 가능하게 한다.
• 정확한 방법(MPost1)과 거의 동일한 성능를 보이지만 훨씬 빠른 이차 시간 근사(MPost2)를 도입한다.
• 사후 융합 시간 분포의 최빈값으로서 탐욕 알고리즘을 도출하였으며, 이는 원래의 탐욕 방법보다 뛰어난 성능을 보임을 입증하였다.

실험 결과

연구 질문

• RQ1 탄성 있는 사전분포를 사용하여, 비-i.i.i.d. 연속적 데이터에 대해 베이지안 계층적 군집화를 효과적으로 확장할 수 있는가?
• RQ2 정확도를 희생시키지 않고, 계층적 군집화의 계산 비용을 O(n³)에서 O(n²)로 감소시킬 수 있는가?
• RQ3 제안된 SMC 샘플러는 속도와 군집 품질 측면에서 기존의 추론 방법보다 뛰어나게 성능을 발휘하는가?
• RQ4 사후분포에서 유도된 개선된 탐욕 알고리즘이 원래의 탐욕 방법보다 특히 소규모 데이터셋에서 더 나은 성능을 보일 수 있는가?
• RQ5 계층적 군집화 프레임워크 내에서 가우시안 프로세스 사전분포가 연속적 데이터의 상관관계 구조를 얼마나 잘 모델링하는가?

주요 결과

• 제안된 SMC 샘플러는 이차 시간 복잡도를 달성하여 원래의 세제곱 시간 복잡도 방법에 비해 런타임을 크게 줄였다.
• MPost2 근사법은 MPost1의 성능과 거의 동일한 결과를 내놓지만, 계산 효율성이 크게 향상되었다.
• 개선된 탐욕 알고리즘은 사후 기반 융합 전략이 더 정확하여, 특히 소규모 데이터셋에서 Teh 등(2008)의 원래 탐욕 방법보다 뛰어난 성능을 보였다.
• 모캡 데이터셋에서, 50회의 반복 내에 안정적인 계층적 구조를 생성하였으며, 최고의 입자 가중치는 0.0784에 도달했고, 10분 이내에 완료되었다.
• 인공 데이터와 실제 데이터 모두에서 뛰어난 성능를 보였으며, 군집 정확도와 구조의 정밀도 향상이 확인되었다.
• 가우시안 프로세스 사전분포의 사용으로 연속적 데이터 내 시간적 및 공간적 상관관계를 효과적으로 모델링할 수 있었고, 이는 모델의 유연성과 적합도를 향상시켰다.