[논문 리뷰] Non-informative reparameterisations for location-scale mixtures

Kamary, Kaniav, Lee, Jeong Eun외 1명|arXiv (Cornell University)|2016. 01. 06.

Bayesian Methods and Mixture Models참고 문헌 32인용 수 3

한 줄 요약

이 논문은 유한한 위치-스케일 혼합 모델에 대해 전역 평균과 분산을 기반으로 구성 요소 파라미터를 표현하는 새로운 재매arameterization을 제안한다. 이를 통해 유계된 파라미터에 약한 정보를 갖는 균일한 사전분포를 사용할 수 있으며, 이는 매우 작은 표본 크기에서도 적절한 사후분포를 보장하고, 레이블 전환 문제를 다룰 수 있는 효율적인 MCMC 샘플링을 가능하게 하여 혼합 모델에 대한 기준 베이지안 프레임워크를 수립한다.

ABSTRACT

While mixtures of Gaussian distributions have been studied for more than a century (Pearson, 1894), the construction of a reference Bayesian analysis of those models still remains unsolved, with a general prohibition of the usage of improper priors (Fr\\"uwirth-Schnatter, 2006) due to the ill-posed nature of such statistical objects. This difficulty is usually bypassed by an empirical Bayes resolution (Richardson and Green, 1997). By creating a new parameterisation cantered on the mean and variance of the mixture distribution itself, we are able to develop here a genuine non-informative prior for Gaussian mixtures with an arbitrary number of components. We demonstrate that the posterior distribution associated with this prior is almost surely proper and provide MCMC implementations that exhibit the expected exchangeability. While we only study here the Gaussian case, extension to other classes of location-scale mixtures is straightforward.

연구 동기 및 목표

• 비정보적 사전분포 하에서 일반적으로 부적절한 사후분포를 초래하는 유한한 위치-스케일 혼합 모델에 대한 기준 베이지안 사전분포를 구성하는 오랜 도전 과제를 해결한다.
• 혼합 모델에 내재된 식별성 문제와 레이블 전환 문제를 극복하기 위해 구성 요소를 혼합 분포의 전역 파라미터에 대해 재매arameter화한다.
• 최소한의 표본 크기에서 사후분포의 적절성을 보장하는 원칙적인, 약한 정보를 갖는 사전분포 프레임워크를 개발한다. 데이터 기반 또는 비정보적 사전분포를 피한다.
• 변환된 파라미터에 대한 균일하고 적절한 사전분포를 가능하게 하는 유계 재매arameterization을 통해 강력한 MCMC 추론을 가능하게 한다.
• 재매arameterization에 대해 불변이며 시뮬레이션 기반 추론을 지원하는 사전분포를 유도함으로써 혼합 모델의 객관적 베이지안 분석을 위한 기반을 마련한다.

제안 방법

• 혼합 분포의 전역 평균과 분산에 대해 각 구성 요소의 위치 및 척도 파라미터를 이격도로 재정의한다.
• 전역 평균과 분산에 대해 원형 유사 좌표계를 사용하여 구성 요소 파라미터를 유계된 파라미터 공간으로 변환함으로써 유계성을 확보한다.
• 유계된 파라미터(예: 상대적 위치 및 척도 이격도)에 균일한 사전분포를 적용하여 원래 파라미터에 대해 약한 정보를 갖는 사전분포를 유도한다.
• 원래의 위치-스케일 파라미터에 대한 제퍼스 사전분포를 새로운 재매arameterization을 통해 변환하여 불변성과 적절성을 확보한다.
• 메트로폴리스-내부 기니브스 샘플링을 사용한 MCMC 알고리즘을 구현하며, 레이블 전환 문제를 해결하기 위해 사후 MCMC 단계에서 파라미터 공간에서 k-means 클러스터링을 통한 재라벨링을 수행한다.
• Ultimixt R 패키지를 사용하여 방법을 검증하였으며, 정규분포, 포아송분포, 지수분포 혼합 모델 전반에서 수렴성과 정확한 추정이 이루어지는 것을 확인하였다.

실험 결과

연구 질문

• RQ1 비정보적 사전분포를 구성할 수 있는가? 이는 데이터 기반 초기화값 없이도 최소한의 표본 크기에서 사후분포의 적절성을 보장한다.
• RQ2 어떻게 재매arameterization을 통해 무한한 혼합 모델 파라미터를 유계된 공간으로 변환하여 균일한 사전분포와 약한 정보를 갖는 추론을 가능하게 할 수 있는가?
• RQ3 제안된 재매arameterization은 혼합 모델의 MCMC 샘플링에서 레이블 전환 문제를 어느 정도 완화하는가?
• RQ4 최소한의 표본 크기 하에서도 결과 사후분포는 적절한가? 그리고 표준 MCMC 방법을 통해 신뢰성 있게 시뮬레이션할 수 있는가?
• RQ5 이 프레임워크는 정규분포 외의 위치-스케일 가족, 예를 들어 포아송 및 지수 혼합 모델로 확장 가능한가? 이 경우에도 사후분포의 적절성과 시뮬레이션 효율성은 유지되는가?

주요 결과

• 전역 평균과 분산을 기반으로 구성 요소 파라미터를 재매arameter화함으로써 파라미터 공간이 유계된 집합으로 변환되며, 이는 변환된 파라미터에 대해 균일한 사전분포 사용을 가능하게 한다.
• 원래의 위치-스케일 파라미터에 대한 제퍼스 사전분포를 기반으로 한 약한 정보를 갖는 사전분포는 원래 사전분포가 비적절한 사후분포를 유도할 수 있는 상황에서도 최소한의 표본 크기에서 적절한 사후분포를 보장한다.
• 새로운 파rameterization을 사용한 MCMC 샘플링은 레이블 전환 문제를 효과적으로 다루며, 사후 MCMC 단계에서 k-means 클러스터링을 통한 재라벨링을 통해 참값에 가까운 추정치를 도출함을 입증하였다.
• 정규 혼합 모델의 경우, 이전 연구와 일치하는 조직 구성 성분(예: 59% 근육, 33% 지방)을 회복하였으며, 가장 큰 성분(34%)은 주로 관심 있는 주요 양상과 일치한다.
• 포아송 혼합 예제에서는 표본 크기가 증가할수록 MCMC 추정치가 참값으로 수렴하며, 50,000회의 시뮬레이션에서 유도된 경험적 밀도가 참값과 매우 유사하게 일치한다.
• Ultimixt R 패키지는 이 방법을 성공적으로 구현하였으며, 복합 확장형(예: 음이이항분포 포함)을 포함한 다양한 분포에서 안정적인 수렴성과 신뢰할 수 있는 추론을 보였다.