[논문 리뷰] Simple approximate MAP Inference for Dirichlet processes

Yordan P. Raykov, Alexis Boukouvalas외 1명|arXiv (Cornell University)|2014. 11. 04.

Bayesian Methods and Mixture Models참고 문헌 11인용 수 4

한 줄 요약

이 논문은 디리클레 프로세스 믹스처(DPMs)에 대한 비열화되지 않은, 계산적으로 효율적인 MAP 추론 알고리즘을 제안한다. 이 알고리즘은 중국식당과정(CRP)을 활용하여 게밥 샘플링과 유사한 클러스터링 성능를 달성하면서도, 반복 횟수와 계산 자원을 훨씬 적게 소비한다. 작은 분산 근사법과는 달리, 이 알고리즘은 ' бог은 더 많은 것을 얻는다'는 성질을 유지하며, 모델 검증을 위한 샘플 외 확률 계산도 가능하게 한다.

ABSTRACT

The Dirichlet process mixture (DPM) is a ubiquitous, flexible Bayesian nonparametric statistical model. However, full probabilistic inference in this model is analytically intractable, so that computationally intensive techniques such as Gibb's sampling are required. As a result, DPM-based methods, which have considerable potential, are restricted to applications in which computational resources and time for inference is plentiful. For example, they would not be practical for digital signal processing on embedded hardware, where computational resources are at a serious premium. Here, we develop simplified yet statistically rigorous approximate maximum a-posteriori (MAP) inference algorithms for DPMs. This algorithm is as simple as K-means clustering, performs in experiments as well as Gibb's sampling, while requiring only a fraction of the computational effort. Unlike related small variance asymptotics, our algorithm is non-degenerate and so inherits the "rich get richer" property of the Dirichlet process. It also retains a non-degenerate closed-form likelihood which enables standard tools such as cross-validation to be used. This is a well-posed approximation to the MAP solution of the probabilistic DPM model.

연구 동기 및 목표

• 디리클레 프로세스 믹스처 모델에서 전체 베이지안 추론의 높은 계산 비용이 자원이 제한된 환경에서의 활용을 제한하므로 이를 해결하고자 한다.
• 소규모 분산 점근 근사의 열화를 피하면서도 단순화된 그러나 통계적으로 엄밀한 근사 MAP 추론 알고리즘을 개발하고자 한다.
• DPM의 핵심 확률적 성질, 예를 들어 '빈자들이 더 많은 것을 얻는다'는 성질과 비열화된 가능도를 유지하여 타당한 모델 선택과 교차 검증이 가능하게 하고자 한다.
• K-means 클러스터링 수준의 수렴 속도를 확보하면서도 벤치마크 데이터셋에서 게밥 샘플링의 정확도를 유지하고자 한다.

제안 방법

• 알고리즘은 중국식당과정(CRP)을 사용하여 클러스터로의 데이터 분할을 모델링함으로써 효율적이고 해석 가능한 MAP 추론을 가능하게 한다.
• MAP 문제를 반복적인 MCMC 샘플링이 필요 없는 클러스터 할당에 대한 이산 최적화 문제로 재구성한다.
• 비열화된 닫힌 형태의 가능도를 계산하여 표준 모델 진단 기법(예: 교차 검증)을 가능하게 한다.
• CRP의 조건부 분포를 활용하여 반복마다 데이터 포인트를 클러스터로 재할당하는 데 있어 계산 오버헤드를 최소화한다.
• K-me안과 유사하게 데이터 포인트를 반복적으로 업데이트하지만, 확률적이고 비열화된 목적 함수를 사용한다.
• 변분 추론의 인수 분해 가정을 피하고, DPM의 무한 성분 공간을 잘라내지 않는다.

실험 결과

연구 질문

• RQ1 DPM에 대해 비열화되고 근사적인 MAP 추론 알고리즘을 개발할 수 있는가? 이 알고리즘이 '빈자들이 더 많은 것을 얻는다'는 성질을 유지할 수 있는가?
• RQ2 제안된 MAP-DPM 알고리즘이 게밥 샘플링과 DP-means에 비해 수렴 속도와 클러스터링 정확도에서 어떻게 비교되는가?
• RQ3 알고리즘이 모델 선택과 검증을 위한 샘플 외 가능도 평가를 지원할 수 있는가?
• RQ4 알고리즘은 열화된 가능도 근사에 의존하지 않고 원래 DPM 모델의 통계적 정밀도를 유지하는가?

주요 결과

• UCI 데이터셋에서 MAP-DPM 알고리즘은 5에서 17회 반복 내에 수렴하며, 게밥 샘플링은 939에서 10,000회 이상의 반복이 필요했고, NMI 점수는 유사한 성능를 보였다.
• 와인 데이터셋에서 MAP-DPM의 NMI 점수는 모든 게밥 샘플에서 달성된 최고의 NMI 점수와 일치하여 뛰어난 클러스터링 정확도를 입증했다.
• 와인 데이터셋에서 MAP-DPM은 단 11회 반복만에 성능을 달성했고, 게밥 샘플링은 유사한 성능에 도달하기 위해 2,365회 반복이 필요했다.
• DP-means는 점질량 가능도를 사용하는 데 반해, MAP-DPM은 비열화된 가능도를 유지함으로써 교차 검증과 모델 진단이 가능하다.
• 비슷한 반복 복잡도에도 불구하고, MAP-DPM은 수렴 속도와 통계적 정밀도에서 DP-means를 능가한다.
• 고차원적 희소성에 대해 강건함을 입증하였으며, 소이비언 데이터셋에서 게밥 샘플링은 10,000회 반복 후에도 수렴하지 못했다.