[논문 리뷰] Approximating the marginal likelihood in mixture models

Jean‐Michel Marin, Christian P. Robert|Base Institutionnelle de Recherche de l'université Paris-Dauphine (BIRD) (University Paris-Dauphine)|2008. 04. 15.

Bayesian Methods and Mixture Models참고 문헌 15인용 수 10

한 줄 요약

이 논문은 유한 혼합모형에서 베이지안 혼합모형의 Chib(1995)의 주변 가능도 근사에 대해 재검토하며, 구성 요소 레이블의 순열 평균을 통해 레이블 전환을 보정할 경우 진정한 주변 가능도를 정확하게 추정할 수 있음을 보여준다. 주요 기여는 모든 구성 요소 레이블 순열을 기반으로 한 대칭화된 추정기로 인해 잘 알려진 레이블 전환 편향이 제거되어 일관성이 회복되고 유한 혼합모형에서 모형 선택 정확도가 향상된다는 것을 입증한 것이다.

ABSTRACT

In Chib (1995), a method for approximating marginal densities in a Bayesian setting is proposed, with one proeminent application being the estimation of the number of components in a normal mixture. As pointed out in Neal (1999) and Fruhwirth-Schnatter (2004), the approximation often fails short of providing a proper approximation to the true marginal densities because of the well-known label switching problem (Celeux et al., 2000). While there exist other alternatives to the derivation of approximate marginal densities, we reconsider the original proposal here and show as in Berkhof et al. (2003) and Lee et al. (2008) that it truly approximates the marginal densities once the label switching issue has been solved.

연구 동기 및 목표

• 유한 혼합모형에서 MCMC 기반 주변 가능도 추정에 지속적으로 나타나는 레이블 전환 문제를 해결하기 위해.
• Chib(1995)의 원래 방법이 레이블 순열 평균을 통해 보정될 경우 진정한 주변 가능도의 일관된 근사치를 제공함을 입증하기 위해.
• 모든 구성 요소 레이블 순열을 기반으로 한 대칭화된 추정기가, 깁스 샘플러가 한 개의 모드에 갇혀 있을 경우에도 올바른 주변 밀도를 복원함을 보여주기 위해.
• 성분 수가 알려지지 않은 혼합모형에서 모형 선택을 위한 역전이 점프 MCMC의 실용적이고 계산적으로 실행 가능한 대안을 제공하기 위해.
• 원래 Chib 추정기와 순열 평균 추정기 사이의 격리가 MCMC 혼합 품질을 진단하는 데 유용한 지표가 됨을 확립하기 위해.

제안 방법

• 논문은 Chib(1995)의 주변 가능도 근사에 후행 모드를 기준점으로 사용하지만, 레이블 전환 문제를 보정하기 위해 모든 구성 요소 레이블 순열에 대한 평균을 취한다.
• 모든 레이블 순열에 대해 후행 모드의 각 변형에서의 후행 밀도를 계산하고, 이를 바탕으로 주변 가능도 추정치를 평균화하는 대칭화된 추정기를 도입한다.
• 방법은 후행 분포 πk(θk|x)에서의 마르코프 체인 몬테카를로(MCMC) 샘플링을 기반으로 하며, 이후 전체 조건부 분포에서 성분 할당 z_k^(t)를 시뮬레이션한다.
• k가 크기 때문에 전체 순열 평균 계산이 비현실적일 경우, 계산 효율성을 유지하기 위해 정규화된 순열의 무작위 표본(항등 순열 포함)을 사용한다.
• 전체 조건부 분포에 조건을 두어 정밀도를 향상시키는 라오-블랙웰라이제이션을 활용한다.
• 논문은 갤럭시 데이터셋을 사용하여 방법을 검증하고, 브루트 포스 사전 시뮬레이션 및 기존 기준과 결과를 비교한다.

실험 결과

연구 질문

• RQ1 레이블 전환이 존재할 경우, Chib(1995)의 주변 가능도 근사가 혼합모형에서 일관성 있게 유지될 수 있는가?
• RQ2 모든 구성 요소 레이블 순열에 대한 평균을 취할 경우, 유한 혼합모형에서 진정한 주변 가능도 추정치가 복원되는가?
• RQ3 원래 Chib 추정기와 순열 평균 추정기 사이의 격리가 MCMC 혼합 품질을 어떻게 반영하는가?
• RQ4 대칭화된 추정기는 깁스 샘플러가 다수의 후행 모드를 탐색하지 못할 경우를 탐지할 수 있는가?
• RQ5 로그(k!) 보정은 주변 가능도 추정에서 레이블 전환 편향에 대해 신뢰할 수 있는 근사치인가?

주요 결과

• 모든 구성 요소 레이블 순열에 대한 평균을 취하는 대칭화된 Chib 추정기는 진정한 주변 가능도를 복원하고, 레이블 전환으로 인한 편향을 제거한다.
• 갤럭시 데이터셋에서 k=3일 때, 원래 Chib 추정기는 log m_k(x) = -105.1396을 산출했고, 순열 평균 추정치는 -103.3479였으며, 이는 이론적 보정 log(3!) = 1.7918과 일치한다.
• k=4일 때, 원래 추정치는 -104.1936이었고, 대칭화된 추정치는 -102.6642였으며, 이 차이는 log(4!) = 3.1777 이하로 줄어들어 레이블 전환 편향이 감소함을 시사한다.
• k=5일 때, 원래 추정치는 -103.91이고 대칭화된 추정치는 -101.93이었으며, 격리가 log(5!) = 4.7875 이하로 줄어들어 k가 증가함에 따라 편향이 감소함을 보여준다.
• 원래 Chib 추정기와 순열 평균 추정기 사이의 격리는 MCMC 혼합 품질을 진단하는 신뢰할 수 있는 지표로 기능하며, 특히 샘플러가 한 개의 후행 모드에 갇혀 있을 경우에 특히 유용하다.
• k가 더 클 경우에도 정규화된 순열의 무작위 표본(항등 순열 포함)을 사용함으로써 계산이 실현 가능함을 갤럭시 데이터셋에서 k=6,7,8에 대해 입증하였다.