[논문 리뷰] Bayesian Agglomerative Clustering with Coalescents

Yee Whye Teh, Hal Daumé외 1명|ArXiv.org|2009. 07. 04.

Bayesian Methods and Mixture Models참고 문헌 11인용 수 73

한 줄 요약

이 논문은 계층적 트리 위에 Kingman의 공통조상 과정을 사전으로 사용하는 새로운 베이지안 융합 클러스터링 모델을 제안한다. 이는 효율적인 탐욕형 및 순차적 몽테카를로 추론을 가능하게 하며, 문서 및 계통언어학 데이터에서 뛰어난 클러스터링 성능을 달성한다. 이는 교환 가능성 사전의 예측 일관성과 융합 알고리즘의 계산 효율성을 결합한 결과이다.

ABSTRACT

We introduce a new Bayesian model for hierarchical clustering based on a prior over trees called Kingman's coalescent. We develop novel greedy and sequential Monte Carlo inferences which operate in a bottom-up agglomerative fashion. We show experimentally the superiority of our algorithms over others, and demonstrate our approach in document clustering and phylolinguistics.

연구 동기 및 목표

• 교환 가능성 사전의 예측 일관성과 융합 추론의 효율성을 결합한 베이지안 계층적 클러스터링 모델을 개발하는 것.
• 기존의 확률적 클러스터링 모델의 한계, 즉 예측 의미 부족 및 누락 데이터 처리 부족 문제를 해결하는 것.
• 하나씩 아래에서 위로 트리를 구성하는 융합 방식으로 작동하는 탐욕형 및 순차적 몽테카를로 알고리즘을 통해 효율적인 추론을 가능하게 하는 것.
• 유도된 데이터 포인트 분포가 교환 가능하도록 보장하여 새로운 데이터로의 일관된 확장 가능성을 지원하는 것.
• 실세계 데이터셋(예: NIPS 초록 및 계통언어학 데이터 포함)에서 강력한 경험적 성능을 입증하는 것.

제안 방법

• 나무 구조에 대한 비모수적 사전으로 Kingman의 공통조상 과정을 사용하여, 데이터 포인트의 유전적 융합을 시간 역행 방향으로 모델링한다.
• 연속시간, 분할을 값으로 가지는 마르코프 과정을 사용하며, 나머지 $ m $개의 라인재가 존재할 때 매 쌍의 라인재가 $\binom{m}{2}$ 의 속도로 융합된다.
• 융합 속도를 기반으로 다음 융합을 선택하는 탐욕형 추론 알고리즘(Greedy-Rate1)을 개발하여 $O(n^2)$ 실행 시간을 달성한다.
• 후행 분포에서 나무를 샘플링하기 위해 순차적 몽테카를로(SMC) 추론을 적용하며, 가중치가 부여된 입자 트리의 집합을 유지한다.
• 공통조상 트리의 각 분기에서 로그우도 비율을 사용하여 최적의 평탄한 클러스터 컷을 결정한다.
• 클러스터링을 위해 데이터를 사전 처리하여 최소 100개의 NIPS 초록에 등장하는 단어만 유지하고, 카운트를 이진수로 변환한다.

실험 결과

연구 질문

• RQ1 Kingman의 공통조상 과정은 베이지안 계층적 클러스터링 프레임워크에서 클러스터링 트리에 대해 효과적이고 교환 가능한 사전으로 기능할 수 있는가?
• RQ2 이 모델을 위해 탐욕형 및 SMC 추론 알고리즘을 설계할 수 있는가? 이러한 알고리즘은 융합 방식으로 아래에서 위로 작동하는가?
• RQ3 제안된 모델은 기존의 융합 클러스터링 방법보다 예측 성능과 클러스터링 품질 측면에서 뛰어나게 성능을 발휘하는가?
• RQ4 이 모델은 실제 데이터, 예를 들어 문서 컬렉션과 언어 계통수 나무 등에 잘 일반화되는가?
• RQ5 모델이 유도하는 기본 확률 분포는 무엇이며, 데이터가 증가함에 따라 후행 분포가 진짜 분포로 수렴하는가?

주요 결과

• Greedy-Rate1 알고리즘은 $O(n^2)$ 실행 시간을 달성하며, 다른 탐욕형 방법과 유사한 클러스터링 품질을 제공하므로 추천되는 선택이다.
• 모델은 NIPS 초록에서 아홉 개의 의미 있는 클러스터를 발견하였으며, 마이크 조르단과 같은 공통 저자를 가진 점을 감안할 때도 베이지안 학습(클러스터 5)과 비베이지안 학습(클러스터 7)을 성공적으로 분리하였다.
• 클러스터 2와 3 사이의 분할에서의 로그우도 비율은 뿐 뿐이었으며, 이는 이 두 클러스터가 매우 유사하여 약간 더 높은 임계값에서는 융합될 것임을 시사한다.
• 경험적 결과는 이 모델이 문서 클러스터링 및 계통언어학 응용 분야에서 다른 융합 클러스터링 알고리즘보다 뛰어난 성능을 보임을 보여준다.
• 모델의 교환 가능성 사전은 새로운 데이터에 대한 일관된 예측을 가능하게 하며, 더 큰 확률 모델 내에서 자연스럽게 통합된다.
• 이론적 분석은 모델의 일致성과 기존 과정과의 연결성을 확인한다: 돌연변이가 속도 $\alpha/2$로 발생하고 새로운 상태가 $H$에서 i.i.d.로 생성될 경우, 유도된 분포는 딜리클레 과정 $DP(\alpha, H)$가 된다.