[论文解读] Approximating the marginal likelihood in mixture models

Jean‐Michel Marin, Christian P. Robert|Base Institutionnelle de Recherche de l'université Paris-Dauphine (BIRD) (University Paris-Dauphine)|Apr 15, 2008

Bayesian Methods and Mixture Models参考文献 15被引用 10

一句话总结

本文重新探討了 Chib (1995) 在有限混合模型中的邊際似然近似方法，並證明：當透過排列平均法修正標籤交換問題時，該方法能準確估計真實的邊際似然。主要貢獻在於顯示，基於所有成分標籤排列的對稱化估計器可解決著名的標籤交換偏差問題，恢復一致性，並提升有限混合模型中的模型選擇準確性。

ABSTRACT

In Chib (1995), a method for approximating marginal densities in a Bayesian setting is proposed, with one proeminent application being the estimation of the number of components in a normal mixture. As pointed out in Neal (1999) and Fruhwirth-Schnatter (2004), the approximation often fails short of providing a proper approximation to the true marginal densities because of the well-known label switching problem (Celeux et al., 2000). While there exist other alternatives to the derivation of approximate marginal densities, we reconsider the original proposal here and show as in Berkhof et al. (2003) and Lee et al. (2008) that it truly approximates the marginal densities once the label switching issue has been solved.

研究动机与目标

• 解決基於 MCMC 的有限混合模型邊際似然估計中長期存在的標籤交換問題。
• 證明 Chib (1995) 原始方法在透過排列平均法修正後，能提供真實邊際似然的一致近似。
• 顯示基於所有成分標籤排列的對稱化估計器即使在吉布斯抽樣被困於單一模式時，亦能恢復正確的邊際密度。
• 提供一種實用且計算上可行的替代方案，以取代未知成分數量混合模型中模型選擇的可逆跳躍 MCMC。
• 確立原始 Chib 估計器與排列平均估計器之間的差異，可作為 MCMC 混合品質的診斷指標。

提出的方法

• 本文應用 Chib (1995) 的邊際似然近似方法，以後驗眾數作為參考點，但透過對所有成分標籤排列進行平均來修正標籤交換問題。
• 提出一種對稱化估計器，計算在後驗眾數所有排列版本下的後驗密度，並對所得的邊際似然估計值進行平均。
• 該方法依賴於從後驗分佈 πk(θk|x) 進行馬爾可夫鏈蒙特卡洛 (MCMC) 抽樣，隨後從完整條件分佈模擬成分指派 z_k^(t)。
• 對於較大的 k 值，當完整排列平均不可行時，方法會使用排列的隨機子樣本（包含恆等排列）以維持計算效率。
• 透過條件化於完整條件分佈，利用 Rao–Blackwellisation 來提升估計精確度。
• 本文使用星系資料集驗證該方法，並將結果與暴力先驗模擬及現有基準進行比較。

实验结果

研究问题

• RQ1 當存在標籤交換問題時，Chib (1995) 的邊際似然近似方法能否在混合模型中實現一致性？
• RQ2 對所有成分標籤排列進行平均，是否能恢復有限混合模型中真實的邊際似然估計？
• RQ3 原始 Chib 估計器與排列平均估計器之間的差異，是否能反映 MCMC 混合品質？
• RQ4 對稱化估計器是否能檢測出吉布斯抽樣未能探索多個後驗模式的情況？
• RQ5 log(k!) 的修正是否為邊際似然估計中標籤交換偏差的可靠近似？

主要发现

• 對所有成分標籤排列進行平均的對稱化 Chib 估計器，能恢復真實的邊際似然，並消除由標籤交換造成的偏差。
• 在星系資料集中，當 k=3 時，原始 Chib 估計器得到 log m_k(x) = -105.1396，而排列平均估計值為 -103.3479，與理論修正 log(3!) = 1.7918 相符。
• 當 k=4 時，原始估計值為 -104.1936，對稱化估計值為 -102.6642，差異小於 log(4!) = 3.1777，顯示標籤交換偏差已減少。
• 當 k=5 時，原始估計值與對稱化估計值分別為 -103.91 和 -101.93，差距小於 log(5!) = 4.7875，顯示隨著 k 增大，偏差逐漸減小。
• 原始 Chib 估計器與排列平均估計器之間的差異，可作為 MCMC 混合品質不佳的可靠診斷指標，特別是在抽樣器被困於單一後驗模式時。
• 即使對於較大的 k 值，該方法仍具計算可行性，透過使用包含恆等排列的排列隨機子樣本來實現，如在星系資料集中 k=6,7,8 時所示。