[논문 리뷰] An Alternative Prior Process for Nonparametric Bayesian Clustering

Hanna Wallach, Shane T. Jensen외 2명|arXiv (Cornell University)|2008. 01. 03.

Bayesian Methods and Mixture Models참고 문헌 27인용 수 45

한 줄 요약

이 논문은 비모수 베이지안 군집화에서 딜리클랑 및 피트만-요르 과정의 대안으로 균일 과정(uniform process)을 제안하며, '부자되는 자가 더 많이 얻는' 성질을 피하기 위해 더 균형 잡힌 군집 크기 분포를 제공한다. 교환 가능성(exchangeability)이 없음에도 불구하고, 점점 커지는 분석, 시뮬레이션 및 특허 데이터셋에 대한 실증적 평가를 통해 문서 군집화 과제에서 예측 성능이 뛰어나다.

ABSTRACT

Prior distributions play a crucial role in Bayesian approaches to clustering. Two commonly-used prior distributions are the Dirichlet and Pitman-Yor processes. In this paper, we investigate the predictive probabilities that underlie these processes, and the implicit "rich-get-richer" characteristic of the resulting partitions. We explore an alternative prior for nonparametric Bayesian clustering -- the uniform process -- for applications where the "rich-get-richer" property is undesirable. We also explore the cost of this process: partitions are no longer exchangeable with respect to the ordering of variables. We present new asymptotic and simulation-based results for the clustering characteristics of the uniform process and compare these with known results for the Dirichlet and Pitman-Yor processes. We compare performance on a real document clustering task, demonstrating the practical advantage of the uniform process despite its lack of exchangeability over orderings.

연구 동기 및 목표

• 딜리클랑 및 피트만-요르 과정에 내재된 '부자되는 자가 더 많이 얻는' 성질이 일부 응용에서 사전 믿음과 맞지 않게 되는 소수의 큰 군집을 초래하므로 이를 해결하기 위해.
• 이러한 편향을 피하고 더 균형 잡힌 군집 크기 분포를 촉진하는 대안 사전분포로서 균일 과정을 조사하기 위해.
• 균일 과정의 점점 커지는 특성과 유한 표본 군집 특성을 공식적으로 분석하기 위해, 특히 교환 가능성의 부재를 포함하여.
• 모델이 교환 가능하지 않음에도 불구하고 고정된 군집 순서에서 정확한 게이브스 샘플링 알고리즘을 개발하기 위해.
• 실세계 문서 군집 과제에서 균일 과정의 실용적 성능을 평가하고, 딜리클랑 과정 모델과 비교하기 위해.

제안 방법

• 균일 과정은 주어진 크기의 모든 분할이 동일하게 확률을 가지는 분할에 대한 사전분포로 정의되며, 딜리클랑 및 피트만-요르 과정의 선호적 첨착(preferential attachment) 메커니즘과 대비된다.
• 저자들은 균일 과정 하에서 기대 군집 수의 점점 커지는 행동을 유도하여, 표본 크기 N에 따라 제곱근 성장함을 보여준다.
• 모델이 교환 가능하지 않음에도 불구하고 고정된 군집 할당 순서를 유지하는 데 성공한 새로운 게이브스 샘플링 알고리즘을 개발하였다.
• 예측 성능 평가를 가능하게 하기 위해, 보류된 문서의 로그-주변확률을 계산하기 위해 '좌측에서 우측으로'의 근사 알고리즘을 사용한다.
• 모의 실험과 탄소 나노기술 특허에 대한 실세계 문서 군집 과제를 통해 균일 과정을 딜리클랑 및 피트만-요르 과정과 비교하였다.
• 평가에서는 주로 보류된 데이터의 가능도를 사용하였으며, 정확도를 높이기 위해 다수의 게이브스 샘플러 실행 및 데이터 순서 뒤바꿈을 평균화하였다.

실험 결과

연구 질문

• RQ1 균일 과정은 딜리클랑 및 피트만-요르 과정보다 더 균형 잡힌 군집 크기 분포를 생성하는가?
• RQ2 균일 과정 하에서 기대 군집 수의 점점 커지는 성질은 무엇인가?
• RQ3 균일 과정의 교환 가능성 부재가 추론 및 모델 성능에 어떤 영향을 미치는가?
• RQ4 균일 과정은 딜리클랑 과정보다 실세계 군집 과제에서 더 뛰어난 예측 성능을 달성할 수 있는가?
• RQ5 균일 과정의 성능은 농도 매개변수 θ에 얼마나 민감한가?

주요 결과

• 균일 과정은 표본 크기 N에 따라 기대 군집 수가 제곱근 성장함을 보이며, 이는 딜리클랑 과정의 로그 성장 및 피트만-요르 과정의 거듭제곱 성장과 대비된다.
• 모의 실험 결과, 균일 과정은 딜리클랑 및 피트만-요르 과정의 '부자되는 자가 더 많이 얻는' 행동과 대비하여 유의미하게 더 균형 잡힌 군집 크기 분포를 생성함을 보여주었다.
• 교환 가능성 부재에도 불구하고, 균일 과정 모델은 군집 할당 순서의 변형에 대해 매우 강건하였으며, 다양한 순서에서의 예측 성능 변동성이 낮게 나타났다.
• 탄소 나노기술 특허에 대한 문서 군집 과제에서, 균일 과정은 농도 매개변수 θ의 모든 테스트 값에서 딜리클랑 과정보다 높은 보류된 로그-확률을 일관되게 달성하였다.
• θ의 모든 값에서 균일 과정은 딜리클랑 과정보다 평균적으로 더 많은 군집을 생성하였으며, 이는 더 균형 잡힌 군집화 구조를 의미한다.
• 균일 과정 기반 모델은 더 높은 평균 로그-확률을 보이며, 예측 성능이 뛰어나 일반화 능력이 향상됨을 나타내었다.