[논문 리뷰] Fast search for Dirichlet process mixture models

Hal Daumé|ArXiv.org|2009. 07. 10.

Bayesian Methods and Mixture Models참고 문헌 11인용 수 38

한 줄 요약

이 논문은 디리클레 프로세스 혼합 모델(DPMMs)에서 최대사후확률(MAP) 클러스터링을 찾기 위해 A* 및 비드 서치를 사용하는 빠른 검색 기반 접근법을 제안한다. 이는 전통적인 MCMC 및 변분 방법보다 크게 뛰어난 성능을 보이며, 60,000개의 데이터 포인트에서 15분 이내로 거의 최적의 클러스터링을 달성한다. 성능 면에서 로그우도 성능과 속도 면에서 고전적 기법인 지브스 샘플링 및 변분 추론과 비교해도 경쟁력 있거나 뛰어나다.

ABSTRACT

Dirichlet process (DP) mixture models provide a flexible Bayesian framework for density estimation. Unfortunately, their flexibility comes at a cost: inference in DP mixture models is computationally expensive, even when conjugate distributions are used. In the common case when one seeks only a maximum a posteriori assignment of data points to clusters, we show that search algorithms provide a practical alternative to expensive MCMC and variational techniques. When a true posterior sample is desired, the solution found by search can serve as a good initializer for MCMC. Experimental results show that using these techniques is it possible to apply DP mixture models to very large data sets.

연구 동기 및 목표

• 대규모 데이터셋에서의 디리클레 프로세스 혼합 모델(DPMMs) 추론의 높은 계산 비용 문제를 해결한다.
• MCMC 및 변분 추론의 한계를 극복한다. DPMMs에서 이는 느린 속도 또는 수렴 보장의 부재를 수반한다.
• 샘플링 및 최적화에 드는 비용을 피하는 실용적이고 확장 가능한 MAP 클러스터링 대안을 개발한다.
• MCMC의 사후 샘플링을 가속화하기 위한 빠른 초기화 방법을 제공한다.
• 공액 지수족 우도를 사용할 때 연속형 및 이산형 데이터 모두에 대해 검색 알고리즘이 효과적인지 입증한다.

제안 방법

• DPMMs의 클러스터 할당 공간을 탐색하기 위해 A* 및 비드 서치 알고리즘을 적용한다. 이는 휴리스틱 점수 함수에 의해 이끌린다.
• 데이터 우도와 클러스터 사전확률를 조합한 수정된 비타당하지 않은 점수 함수를 사용하여 효율적인 탐색을 이끈다.
• 지수족 우도와 사전확률의 공액성 덕분에 클러스터 할당에 대한 정확한 사후 확률을 계산한다.
• 비드 서치를 통해 낮은 점수의 경로를 잘라내며 후보 클러스터링 집합을 유지함으로써 MAP 목적함수를 최적화한다.
• DP의 교환 가능성 성질을 활용하여 탐색 중 조건부 확률을 효율적으로 계산한다.
• 충분통계량을 캐시하고 데이터 구조를 활용하여 탐색 중 반복적인 우도 계산을 줄인다.

실험 결과

연구 질문

• RQ1 A* 및 비드 서치와 같은 검색 기반 방법은 DPMMs에서 MAP 추론에 있어 MCMC 및 변분 추론의 확장 가능한 대안이 될 수 있는가?
• RQ2 대규모 데이터셋에서 검색 기반 MAP 추론의 성능은 지브스 샘플링과 비교해 로그우도 및 런타임 측면에서 어떻게 되는가?
• RQ3 빠르고 근사적인 MAP 해법은 DPMMs에서 MCMC 샘플링의 효과적인 초기화자로 기능할 수 있는가?
• RQ4 비타당하지 않은 휴리스틱을 사용할 경우 검색 효율성과 해의 품질에 어떤 영향을 미치는가?
• RQ5 검색 기반 방법은 대규모 데이터셋(예: 60,000개 포인트)에 대해 얼마나 잘 스케일업할 수 있으며, 높은 품질의 클러스터링을 유지할 수 있는가?

주요 결과

• 제안된 검색 기반 방법은 Matlab에서 60,000개 포인트 데이터셋에서 15분 이내로 MAP 클러스터링을 달성하며, MCMC 및 변분 방법보다 훨씬 빠르다.
• 10,000개 포인트 데이터셋에서 검색 방법은 로그우도 3.2e6를 기록하여 지브스 샘플링(3.0e6)과 스플릿-머지 MCMC를 능가한다.
• 비타당하지 않은 점수 함수의 사용은 매우 빠른 수렴을 가능하게 하며, 일반적인 방법보다 훨씬 빨리 거의 최적의 해에 도달할 수 있다.
• 주요 계산 병목은 데이터 크기의 제곱에 비례하는 prior 항 p(c)의 최적화이며, 이는 향후 최적화의 여지를 시사한다.
• 검색 기반 해법은 MCMC에 대해 고품질의 초기화를 제공하여 혼합 속도를 높이고 사후 샘플링을 더 효율적으로 만들 수 있다.
• 이 방법은 공액 지수족 우도를 사용할 경우 연속형 및 이산형 데이터 모두에 대해 일반적이고 효과적이다.