[논문 리뷰] Dynamic mixtures of finite mixtures and telescoping sampling

Sylvia Frühwirth‐Schnatter, Gertraud Malsiner‐Walli외 1명|arXiv (Cornell University)|2020. 05. 20.

Bayesian Methods and Mixture Models참고 문헌 36인용 수 4

한 줄 요약

이 논문은 임의의 성분 분포를 가진 모델에 대해 효율적인 베이지안 추론을 가능하게 하는 새로운 '텔레스코프링 샘플러'를 갖춘 동적 유한혼합모형(MFMs)을 제안한다. 디리클레 농도 매개변수를 성분 수에 따라 의존시키고, K에 대한 민감한 사전분포를 제안함으로써, 계산적으로 타당한 추론을 제공하면서도 MFMs를 베이지안 비모수 혼합모형과 연결한다.

ABSTRACT

Within a Bayesian framework, a comprehensive investigation of the model class of mixtures of finite mixtures (MFMs) where a prior on the number of components is specified is performed. This model class has applications in model-based clustering as well as for semi-parametric density approximation, but requires suitable prior specifications and inference methods to exploit its full potential. We contribute to the Bayesian analysis of MFMs by (1) considering static and dynamic MFMs where the Dirichlet parameter of the component weights either is fixed or depends on the number of components, (2) proposing a flexible prior distribution class for the number of components $K$, (3) characterizing the implicit prior on the number of clusters $K_+$ as well as partitions by deriving computationally feasible formulas, (4) linking MFMs to Bayesian non-parametric mixtures, and (5) finally proposing a novel sampling scheme for MFMs called the telescoping sampler which allows Bayesian inference for mixtures with arbitrary component distributions. The telescoping sampler explicitly samples the number of components, but otherwise requires only the usual MCMC steps for estimating a finite mixture model. The ease of its application using different component distributions is demonstrated on real data sets.

연구 동기 및 목표

• 모델 기반 클러스터링과 반모수 밀도 추정을 모두 지원하는 민감한 베이지안 프레임워크를 개발하는 것.
• 특히 클러스터링 행동을 적절히 유도하는 데 있어, 성분 수 K에 대한 사전분포 설정 문제를 해결하는 것.
• MFMs를 베이지안 비모수 혼합모형과 연결하기 위해, 클러스터 수 K+ 및 분할 구조에 대한 암묵적 사전분포를 특성화하는 것.
• K를 명시적으로 샘플링하면서도 표준 MCMC 단계를 유지하는 일반적인 목적의 MCMC 샘플링 기법—즉, 텔레스코프링 샘플러—를 설계하는 것.

제안 방법

• 성분 수 K에 따라 디리클레 농도 매개변수를 변화시킬 수 있도록 하는 동적 MFM 모델을 제안한다.
• 성분 수 K에 대한 민감한 사전분포 클래스를 도입하여 클러스터 수에 대한 사전 신뢰도를 제어할 수 있도록 한다.
• MFMs에 의해 유도되는 클러스터 수 K+ 및 분할 구조에 대한 암묵적 사전분포에 대해 계산적으로 타당한 공식을 유도한다.
• K가 증가하는 극한에서 MFMs와 베이지안 비모수 혼합모형 간의 이론적 연결 고리를 확립한다.
• K를 명시적으로 샘플링하면서도 표준 유한혼합모형 MCMC 업데이트와 원활하게 통합되는 새로운 MCMC 알고리즘인 텔레스코프링 샘플러를 개발한다.
• 임의의 성분 분포를 가진 모델에 텔레스코프링 샘플러를 적용하여, 실제 데이터에서 그 일반성과 확장성의 실용성을 입증한다.

실험 결과

연구 질문

• RQ1 유한혼합모형에서 디리클레 농도 매개변수를 성분 수에 따라 적응적으로 조정함으로써 클러스터링 성능을 향상시킬 수 있는가?
• RQ2 MFMs에서 K에 대한 사전분포에 의해 유도되는 클러스터 수 K+ 및 분할 구조에 대한 암묵적 사전분포는 무엇인가?
• RQ3 MFMs를 체계적으로 베이지안 비모수 혼합모형 모델과 연결할 수 있는가?
• RQ4 임의의 성분 분포를 지원하고 K에 대한 효율적 추론을 가능하게 하는 일반적인 목적의 MCMC 샘플러를 설계할 수 있는가?
• RQ5 실제 클러스터링 및 밀도 추정 과제에서 제안된 텔레스코프링 샘플러의 경험적 성능은 표준 MCMC 방법에 비해 어떠한가?

주요 결과

• 제안된 동적 MFM 모델은 디리클레 농도 매개변수를 K에 따라 변화시킴으로써 더 적응적이고 현실적인 클러스터링 행동을 가능하게 한다.
• K+ 및 분할 구조에 대한 암묵적 사전분포에 대한 유도된 공식은 MFMs에서 클러스터링 사전 신뢰도를 정밀하게 제어하고 해석할 수 있도록 한다.
• MFMs와 베이지안 비모수 혼합모형 간의 연결 고리는 공식적으로 확립되었으며, MFMs가 잘 특성화된 점근적 성질을 가진 유한 근사로 사용될 수 있음을 보여준다.
• 텔레스코프링 샘플러는 K를 명시적으로 샘플링하면서도 다른 파라미터에 대한 표준 MCMC 단계를 유지함으로써, 임의의 성분 분포를 가진 MFMs에 대해 효율적인 베이지안 추론을 가능하게 한다.
• 실제 데이터에 대한 경험적 결과는 텔레스코프링 샘플러의 실용성과 다양한 성분 분포 및 클러스터링 과제에서의 확장성을 입증한다.