[논문 리뷰] A survey on Bayesian inference for Gaussian mixture model

Jun Lu|arXiv (Cornell University)|2021. 08. 20.

Bayesian Methods and Mixture Models참고 문헌 60인용 수 7

한 줄 요약

이 종합적 서베이는 유한하고 무한한 가우시안 혼합 모델에 대한 베이지안 추론에 대한 포괄적이고 자가 포함된 소개를 제공하며, 공액 사전, Dirichlet 과정, Gibbs 샘플링과 같은 기초 개념을 다룹니다. 이 서베이는 이론적 엄밀성을 강조하며 철저한 유도 과정을 제공하고, 실용적 추론 기법과 지표를 통해 현대적 응용을 부각시킵니다.

ABSTRACT

Clustering has become a core technology in machine learning, largely due to its application in the field of unsupervised learning, clustering, classification, and density estimation. A frequentist approach exists to hand clustering based on mixture model which is known as the EM algorithm where the parameters of the mixture model are usually estimated into a maximum likelihood estimation framework. Bayesian approach for finite and infinite Gaussian mixture model generates point estimates for all variables as well as associated uncertainty in the form of the whole estimates' posterior distribution. The sole aim of this survey is to give a self-contained introduction to concepts and mathematical tools in Bayesian inference for finite and infinite Gaussian mixture model in order to seamlessly introduce their applications in subsequent sections. However, we clearly realize our inability to cover all the useful and interesting results concerning this field and given the paucity of scope to present this discussion, e.g., the separated analysis of the generation of Dirichlet samples by stick-breaking and Polya's Urn approaches. We refer the reader to literature in the field of the Dirichlet process mixture model for a much detailed introduction to the related fields. Some excellent examples include (Frigyik et al., 2010; Murphy, 2012; Gelman et al., 2014; Hoff, 2009). This survey is primarily a summary of purpose, significance of important background and techniques for Gaussian mixture model, e.g., Dirichlet prior, Chinese restaurant process, and most importantly the origin and complexity of the methods which shed light on their modern applications. The mathematical prerequisite is a first course in probability. Other than this modest background, the development is self-contained, with rigorous proofs provided throughout.

연구 동기 및 목표

• 유한하고 무한한 가우시안 혼합 모델에 대한 베이지안 추론에 대해 자가 포함되고 수학적으로 엄밀한 소개를 제공하는 것.
• 공액 사전, 중국 식당 과정, Dirichlet 과정과 같은 핵심 도구들이 불확실성과 군집화를 모델링하는 데 수행하는 역할을 명확히 하는 것.
• 완전한 유도 과정을 동반한 복합된 Gibbs 샘플링과 적응형 거부 샘플링과 같은 기초 기법을 제시하는 것.
• Cholesky 분해와 잘라내기 방법과 같은 최적화 전략을 포함한 추론 복잡도 분석을 통해 현대적 응용에 대한 통찰을 제공하는 것.
• 기본 확률 이론 이외의 최소한의 사전 지식을 바탕으로 후행 분포의 집중성과 渐近적 행동과 같은 이론적 성질을 연구자들이 이해할 수 있도록 안내하는 것.

제안 방법

• 다변량 가우시안 성분에서 평균과 공분산을 동시 추정하기 위해 정규-역와이시트 분포(NIW)를 포함한 공액 사전을 사용한다.
• 클러스터 파라미터를 적분하여 후행 추론을 단순화함으로써, 클러스터 평균과 공분산을 제거하는 복합된 Gibbs 샘플링을 적용한다.
• 특히 고차원 설정에서 효율적으로 로그-볼록 후행 밀도에서 샘플링하기 위해 적응형 거부 샘플링(ARS)을 활용한다.
• 알 수 없는 수의 클러스터를 모델링하기 위해 비모수적 사전으로서의 중국 식당 과정(CRP)과 Dirichlet 과정(DP)을 도입한다.
• 행렬 연산, 특히 행렬식 계산과 랭크-일치 갱신에서 계산 효율성을 높이기 위해 Cholesky 분해를 활용한다.
• 무한 혼합 모델에서의 확장성 향상을 위해 제약 샘플링(cSampling)과 손실 기반 샘플링(lSampling)과 같은 잘라내기 기법을 적용한다.

실험 결과

연구 질문

• RQ1 공액 사전은 어떻게 체계적으로 적용되어 가우시안 혼합 모델에 대해 폐쇄형 후행 분포를 도출할 수 있는가?
• RQ2 유한 모델에서 혼합 비율에 대한 대칭 Dirichlet 사전 하에서 후행 분포의 이론적 성질은 무엇인가?
• RQ3 중국 식당 과정은 어떻게 알려지지 않은 수의 성분을 가진 비모수적 베이지안 군집화를 가능하게 하는가?
• RQ4 유한 및 무한 가우시안 혼합 모델에 대해 복합된 Gibbs 샘플링을 사용할 때의 계산적 및 통계적 상충 관계는 무엇인가?
• RQ5 Cholesky 분해와 잘라내기와 같은 최적화 기법은 대규모 설정에서 후행 추론의 효율성을 어떻게 향상시킬 수 있는가?

주요 결과

• 정규-역와이시트(NIW) 사전은 다변량 가우시안 성분의 평균과 공분산에 대해 폐쇄형 후행 분포를 도출하여 정확한 베이지안 추론을 가능하게 한다.
• 복합된 Gibbs 샘플링은 클러스터 파라미터를 통합함으로써 계산 비용을 감소시키며, Cholesky 기반 갱신에 대해 O(n³)의 복잡도를 보인다.
• 중국 식당 과정은 Dirichlet 과정의 스틱-브레이킹 구조를 제공하여 알려지지 않은 수의 성분을 가진 비모수적 군집화를 가능하게 한다.
• 공액 사전 하에서 새로운 데이터의 후행 예측 분포는 해석적으로 다룰 수 있으며, 이는 모델 평가 및 예측을 지원한다.
• 함수 $ \Gamma(Kx)/[\Gamma(x)]^K $ 는 엄격하게 로그-볼록이며, 이 결과는 Dirichlet 과정 모델링의 이론적 보장에 기초가 된다.
• cSampling 및 lSampling과 같은 잘라내기 방법은 추론 중 부용한 성분을 제거함으로써 무한 혼합 모델에서 계산 오버헤드를 크게 감소시킨다.