[논문 리뷰] Bayesian inference of Gaussian mixture models with noninformative priors

Colin J. Stoneking|arXiv (Cornell University)|2014. 05. 19.

Bayesian Methods and Mixture Models참고 문헌 27인용 수 8

한 줄 요약

이 논문은 각 성분당 최소한의 데이터 할당을 강제하여 비정보적 비정상 사전분포(예: 제프레즈의 사전분포)를 사용할 수 있도록 하는 새로운 가우시안 혼합 모델을 제안한다. 이는 주어진 사전분포를 주관적으로 조정할 필요 없이 적절한 사후분포를 보장한다. 이 방법은 제약 조건이 있는 매개변수 제안을 사용하는 MCMC 샘플링을 통해 효율적인 사후분포 탐색을 실현하며, 일반적인 혼합 모델에서 비정보적 사전분포를 사용할 경우 흔히 발생하는 사후분포 비정상성 문제를 해결한다.

ABSTRACT

This paper deals with Bayesian inference of a mixture of Gaussian distributions. A novel formulation of the mixture model is introduced, which includes the prior constraint that each Gaussian component is always assigned a minimal number of data points. This enables noninformative improper priors such as the Jeffreys prior to be placed on the component parameters. We demonstrate difficulties involved in specifying a prior for the standard Gaussian mixture model, and show how the new model can be used to overcome these. MCMC methods are given for efficient sampling from the posterior of this model.

연구 동기 및 목표

• 비정보적 사전분포를 사용할 경우 사후분포가 비정상이 되는 문제를 해결하기 위해 가우시안 혼합 모델에서 비정보적 사전분포를 사용하는 데 도전한다.
• 사전분포 매개변수의 주관적 또는 약한 정보성 설정이 필요 없도록 하여 사전분포 지배 및 민감도 문제를 제거한다.
• 각 성분당 최소한의 데이터 포인트 제약 조건을 통해 제프레즈의 사전분포를 사용하면서도 사후분포의 정상성을 보장하는 모델을 개발한다.
• 데이터 기반의 객관적인 접근 방식을 제공하여 GMM에서의 베이지안 추론을 실현하며, 데이터에 의존하는 사전분포를 피하면서도 빈도주의 커버리지 성질을 유지한다.

제안 방법

• 각 가우시안 성분이 최소한의 데이터 포인트를 할당받도록 강제하는 수정된 GMM 설정을 도입하여, 비정상 사전분포가 존재하더라도 사후분포의 정상성을 보장한다.
• 평균과 표준편차에 대해 제약 조건이 있는 제안 분포를 사용하는 메트로폴리스-해스팅스 MCMC 알고리즘을 적용하여, 평균은 [μ_min, μ_max] 및 표준편차는 [σ_min, ∞) 범위 내에서 제한함으로써 혼합 성능을 향상시킨다.
• 성분 할당 G에 대해 균일한 성분 가중치 하의 가능도 비례하는 데이터 의존적 제안을 사용하여 샘플링 효율성을 향상시킨다.
• μ 및 σ에 대해 대칭적인 랜덤 워크 제안을 사용하며, 제약 조건을 유지하기 위해 반사 또는 래핑을 적용하고, 수용 확률에 제안 밀도 비율을 사용한다.
• μ 및 σ에 대한 범위 제약을 도입함으로써 제프레즈의 사전분포를 근사하여 정확한 비정상 사전분포가 필요 없이도 객관적인 추론을 유지한다.
• 최소 데이터 할당 제약을 위반하는 구성에 대해 π*(G)를 0으로 설정함으로써, 오직 유효한 성분 할당만 고려되도록 보장한다.

실험 결과

연구 질문

• RQ1 비정보적 비정상 사전분포(예: 제프레즈의 사전분포)를 사용할 경우 가우시안 혼합 모델에서 사후분포가 비정상이 되지 않도록 의미 있게 사용할 수 있는가?
• RQ2 각 성분당 최소한의 데이터 포인트 수를 강제함으로써 약한 정보성 또는 주관적인 사전분포 설정이 필요 없어지는가?
• RQ3 약한 정보성 사전분포를 사용하는 표준 GMM과 비교할 때, 제안된 모델은 사후분포 민감도와 수렴성 측면에서 어떻게 다른가?
• RQ4 제약 조건이 있는 매개변수 공간 하에서 MCMC 샘플링이 효율적이고 안정적으로 작동하는가?

주요 결과

• 각 성분당 최소한의 데이터 할당을 강제함으로써, 비정상 사전분포가 존재하더라도 사후분포의 정상성을 보장함으로써, 기존 GMM에서 흔히 발생하는 사후분포 비정상성 문제를 해결한다.
• 약한 정보성 사전분포를 사용할 경우 흔히 발생하는 사전분포 지배 및 민감도 문제를 피할 수 있으며, 이러한 사전분포가 비합리적인 사후행동을 유도하는 단순한 데이터 세트에서 이를 실증적으로 입증하였다.
• μ 및 σ에 대해 제약 조건이 있는 제안을 사용한 MCMC 샘플링은 사슬의 혼합 성능과 수렴성을 크게 향상시켜 신뢰할 수 있는 사후분포 추론을 가능하게 한다.
• 모델은 데이터 기반 사전분포와 유사한 2차 정확도의 빈도주의 커버리지 성질을 달성하지만, 사전분포 자체가 데이터에 의존하지 않아 베이지안 일관성을 유지한다.
• 최소 데이터 제약 조건을 통해 제프레즈의 사전분포를 사용한 객관적 추론이 가능하며, 주관적인 매개변수를 도입하지 않더라도 사후분포의 정상성을 보장한다.