[논문 리뷰] Optimal Bayesian estimation of Gaussian mixtures with growing number of components

Ilsang Ohn, Lizhen Lin|arXiv (Cornell University)|2020. 07. 17.

Bayesian Methods and Mixture Models참고 문헌 45인용 수 4

한 줄 요약

이 논문은 표본 크기에 따라 변하는 사전 분포를 사용하여 성장하는 성분 수를 가진 가우시안 유한 혼합 모형을 베이지안 프레임워크로 추정하는 방법을 개발한다. 이는 워샤르슈타인 거리 기준으로 최적의 사후 수렴 속도를 달성한다. 성분 추정의 이론적 일致성을 확립하고, 적응형 성분 선택을 위한 실용적 방법을 제시한다. 디리클레 과정 혼합 모형을 유한 혼합 모형의 대체 수단으로 사용하는 데에 기초한다.

ABSTRACT

We study Bayesian estimation of finite mixture models in a general setup where the number of components is unknown and allowed to grow with the sample size. An assumption on growing number of components is a natural one as the degree of heterogeneity present in the sample can grow and new components can arise as sample size increases, allowing full flexibility in modeling the complexity of data. This however will lead to a high-dimensional model which poses great challenges for estimation. We novelly employ the idea of a sample size dependent prior in a Bayesian model and establish a number of important theoretical results. We first show that under mild conditions on the prior, the posterior distribution concentrates around the true mixing distribution at a near optimal rate with respect to the Wasserstein distance. Under a separation condition on the true mixing distribution, we further show that a better and adaptive convergence rate can be achieved, and the number of components can be consistently estimated. Furthermore, we derive optimal convergence rates for the higher-order mixture models where the number of components diverges arbitrarily fast. In addition, we suggest a simple recipe for using Dirichlet process (DP) mixture prior for estimating the finite mixture models and provide theoretical guarantees. In particular, we provide a novel solution for adopting the number of clusters in a DP mixture model as an estimate of the number of components in a finite mixture model. Simulation study and real data applications are carried out demonstrating the utilities of our method.

연구 동기 및 목표

• 성분 수가 알려져 있지 않고 표본 크기에 따라 증가하는 유한 혼합 모형의 베이지안 추정에 있어 발생하는 격차를 보완하기 위해.
• 높은 차원에서 성분 수가 증가하는 설정에서 워샤르슈타인 거리 기준으로 혼합 분포에 대한 사후 수렴 속도를 확립하기 위해.
• 진짜 혼합 분포에 대한 분리 조건이 만족될 경우, 진짜 성분 수의 적응형이고 일관된 추정을 달성하기 위해.
• 디리클레 과정 혼합 사전 분포를 사용하여 유한 혼합 모형의 성분 수를 추정하는 이론적으로 타당한 방법을 제공하기 위해.
• 은하성 및 geysers 분열 데이터에 대한 시뮬레이션과 실제 데이터 응용을 통해 방법의 실용적 유용성을 입증하기 위해.

제안 방법

• 표본 크기에 따라 변하는 사전 분포를 도입하여 유한 혼합 모형의 성분 수에 대한 사전 분포를 설정함으로써, 표본 크기에 따라 성분 수가 증가하도록 허용한다.
• 표본 크기에 비례하여 조정된 농도 매개변수를 가진 디리클레 과정 혼합(DPM) 사전 분포를 사용하여 일관성과 적응성을 확보한다.
• DPM 모형에서의 클러스터 수의 사후 분포를 유한 혼합 모형의 성분 수에 대한 대체 추정치로 사용한다.
• 워샤르슈타인 거리를 사용하여 진짜 혼합 분포로의 사후 수렴을 측정함으로써 비점근적 이론 분석이 가능하도록 한다.
• 약한 정규성 조건 하에서 사후 수렴 속도를 유도하여, 최소 최대 기준에서 근사 최적성을 입증한다.
• 진짜 혼합 분포에 대한 분리 조건 하에서 성분 선택 일관성에 대한 이론적 보장을 확립한다.

실험 결과

연구 질문

• RQ1 성분 수가 표본 크기에 따라 증가할 때, 유한 가우시안 혼합 모형의 베이지안 추정이 워샤르슈타인 거리 기준으로 최적의 사후 수렴 속도를 달성할 수 있는가?
• RQ2 성분 수가 증가하는 백터 프레임워크에서 성분 수가 일관되게 추정될 수 있는 조건은 무엇인가?
• RQ3 디리클레 과정 혼합 사전 분포를 어떻게 사용하여 유한 혼합 모형의 성분 수를 추정할 수 있는가?
• RQ4 초모수 선택(예: 농도 매개변수)이 성분 수와 밀도 추정의 사후 추론에 미치는 영향은 무엇인가?
• RQ5 DPM 모형에서의 클러스터 수 사후 분포가 유한 혼합 모형의 진짜 성분 수를 신뢰성 있게 추정할 수 있는가?

주요 결과

• 사전에 약한 조건이 만족될 경우, 사후 분포는 워샤르슈타인 거리 기준으로 진짜 혼합 분포 주위에 근사 최적 속도로 수렴한다.
• 진짜 혼합 분포에 대한 분리 조건이 만족될 경우, 사후 분포는 더 빠른 적응형 수렴 속도를 달성하며, 성분 수는 일관되게 추정된다.
• 혼합 분포 추정의 최소 최대 최적 수렴 속도는 $ n^{-1/(4(k^{ullet}-k_0)+2)} $ 순서이며, 여기서 $ k^{ullet} $ 는 진짜 성분 수이고 $ k_0 $ 는 잘 분리된 성분 수이다.
• 작은 농도 매개변수를 가진 디리클레 과정 혼합 모형에서 클러스터 수의 사후 분포는 진짜 성분 수 근처에 집중되며, 이는 이 모형이 유한 혼합 모형 추정의 대체 수단으로 사용될 수 있음을 검증한다.
• 은하성 및 지열 분열 데이터에 대한 시뮬레이션 결과는 초모수 선택(예: 포아송 평균 또는 농도 매개변수)이 사후 추론에 상당한 영향을 미치지만, 방법은 여전히 강건하고 적응 가능함을 보여준다.
• 성분 수가 임의로 매우 빠르게 발산하더라도 제안된 방법은 최적의 수렴 속도를 달성하여 강력한 이론적 및 실용적 유연성을 입증한다.