[논문 리뷰] A Bayesian Model for Supervised Clustering with the Dirichlet Process Prior

Hal Daumé, Daniel Marcu|ArXiv.org|2009. 07. 04.

Bayesian Methods and Mixture Models참고 문헌 33인용 수 48

한 줄 요약

이 논문은 클러스터 수가 미리 정해지지 않았고 변동 가능할 수 있는 경우를 다루기 위해 디리클레 프로세스 사전분포를 사용한 베이지안 비모수 모델을 제안한다. 관찰되지 않은 '기준 유형'을 도입하고 MCMC 추론을 활용함으로써, 레코드 연동 및 인용 매칭과 같은 다양한 실세계 작업에서 비지도 및 최신 지도 학습 방법을 모두 능가하는 성능을 보였다.

ABSTRACT

We develop a Bayesian framework for tackling the supervised clustering problem, the generic problem encountered in tasks such as reference matching, coreference resolution, identity uncertainty and record linkage. Our clustering model is based on the Dirichlet process prior, which enables us to define distributions over the countably infinite sets that naturally arise in this problem. We add supervision to our model by positing the existence of a set of unobserved random variables (we call these "reference types") that are generic across all clusters. Inference in our framework, which requires integrating over infinitely many parameters, is solved using Markov chain Monte Carlo techniques. We present algorithms for both conjugate and non-conjugate priors. We present a simple--but general--parameterization of our model based on a Gaussian assumption. We evaluate this model on one artificial task and three real-world tasks, comparing it against both unsupervised and state-of-the-art supervised algorithms. Our results show that our model is able to outperform other models across a variety of tasks and performance metrics.

연구 동기 및 목표

• 레코드 연동, 공통 참조 해소 또는 기준 매칭으로도 알려진 지도 학습 클러스터링 문제를 체계적이고 생성 모델 기반으로 해결하기 위해.
• 고정된 K를 가정하지 않고도 클러스터 수를 자동으로 추정할 수 있도록, 디리클레 프로세스 사전분포의 비모수 성질을 활용하기 위해.
• 클러스터 간에 일반화되는 공통된 특성을 가진 관찰되지 않은 '기준 유형'을 통해 지도 학습을 통합함으로써 클러스터링 정확도를 향상시키기 위해.
• 무한한 수의 매개변수를 통합할 수 있는 효율적인 MCMC 추론 기법을 개발하기 위해.
• 인공 및 실세계 데이터셋에서 모델을 평가하여 다양한 작업과 평가 지표에서 견고한 성능을 보여주기 위해.

제안 방법

• 클러스터 할당에 대한 비모수적 분포를 정의하기 위해 디리클레 프로세스 사전분포를 사용하여, 알려지지 않은 수이거나 무한할 수 있는 클러스터 수를 허용한다.
• 모든 클러스터에 걸쳐 공통적으로 사용되는 잠재 변수로, 일반적인 클러스터 수준의 특성을 나타내는 관찰되지 않은 '기준 유형'을 도입한다.
• 농도 매개변수 α에 대해 감마 분포를, 클러스터별 매개변수 x_m에 대해 베타 분포를 사용한 공액 사전분포 설정을 적용한다.
• 이중 지표 벡터 i가 α의 감마 사후분포에 기여하는지 여부를 결정하는 데 사용되는, 게이브스 샘플러를 통한 MCMC 샘플링을 시행한다.
• α, n_m, 및 k_m에 조건부로 각 x_m의 주변 사후분포를 베타 분포로 도출함으로써, MCMC 동안 효율적인 샘플링을 가능하게 한다.
• 이중 지표 벡터 i에 대한 게이브스 샘플링 절차를 통해 계산된 혼합 가중치를 사용하여, α의 사후분포를 감마 분포의 혼합으로 표현한다.

실험 결과

연구 질문

• RQ1 디리클레 프로세스 사전분포를 사용하여 클러스터 수가 알려지지 않은 지도 학습 클러스터링 문제를 효과적으로 다룰 수 있는가?
• RQ2 관찰되지 않는 기준 유형을 통해 비모수 클러스터링 모델에 지도 학습을 공식적으로 통합할 수 있는가?
• RQ3 무한 차원 매개변수 공간에서의 MCMC 추론이 실세계 클러스터링 작업에 대해 계산적으로 실현 가능하게 만들 수 있는가?
• RQ4 제안된 모델이 다양한 실세계 데이터셋에서 기존의 지도 및 비지도 클러스터링 방법을 모두 능가하는가?
• RQ5 모델 성능은 사전분포 및 초모수의 선택에 얼마나 민감한가?

주요 결과

• 레코드 연동, 인용 매칭, 공통 참조 해소와 같은 다양한 실세계 작업에서, 비지도 및 최신 지도 학습 기반 기준을 초월하는 뛰어난 성능을 달성했다.
• 디리클레 프로세스 사전분포의 사용으로, K의 사전 설정이 필요 없이도 클러스터 수를 자동으로 추정할 수 있었으며, 이는 클러스터 구조가 알려지지 않은 실세계 데이터에서 매우 중요하다.
• MCMC 추론 절차(이중 지표 벡터 i에 대한 게이브스 샘플링 및 α에 대한 감마 혼합 샘플링 포함)는 중간 크기의 문제(예: M < 100, n_m < 1000, k_m < 500)에서 약 50~200회 반복 내에 수렴하였다.
• 초모수의 선택에 대해 성능이 뛰어나게 안정적이며, 평가 지표 전반에서 일관된 향상이 관찰되어, 모델의 성능이 높은 내성적 안정성을 지녔음을 입증했다.
• 공통 잠재 변수로서의 '기준 유형' 도입은 학습 예제 전반에서 일반적인 클러스터 수준의 패턴을 포착함으로써 클러스터링 정확도를 크게 향상시켰다.
• 특히 신뢰도가 낮거나 노이즈가 많은 특성으로 인해 정체성 불확실성이 높은 작업, 예를 들어 인용 매칭 및 레코드 연동에서 뛰어난 일반화 성능을 보였다.