[論文レビュー] Approximating the marginal likelihood in mixture models

Jean‐Michel Marin, Christian P. Robert|Base Institutionnelle de Recherche de l'université Paris-Dauphine (BIRD) (University Paris-Dauphine)|Apr 15, 2008

Bayesian Methods and Mixture Models参考文献 15被引用数 10

ひとこと要約

この論文は、ベイズ混合モデルにおけるChib (1995) の周辺尤度近似を再検討し、成分ラベルの順列平均化によるラベルスイッチングの補正を施した場合、真の周辺尤度を正確に推定できることを示している。主な貢献は、すべての成分ラベル順列に基づく対称化推定量が、有名なラベルスイッチングバイアスを解消し、有限混合モデルにおける一貫性を回復させ、モデル選択の正確性を向上させることを示したことである。

ABSTRACT

In Chib (1995), a method for approximating marginal densities in a Bayesian setting is proposed, with one proeminent application being the estimation of the number of components in a normal mixture. As pointed out in Neal (1999) and Fruhwirth-Schnatter (2004), the approximation often fails short of providing a proper approximation to the true marginal densities because of the well-known label switching problem (Celeux et al., 2000). While there exist other alternatives to the derivation of approximate marginal densities, we reconsider the original proposal here and show as in Berkhof et al. (2003) and Lee et al. (2008) that it truly approximates the marginal densities once the label switching issue has been solved.

研究の動機と目的

• 有限混合モデルにおけるMCMCベースの周辺尤度推定において、長年の問題であるラベルスイッチングを解決すること。
• Chib (1995) の元々の手法が、パーミュテーションの平均化によって補正された場合、真の周辺尤度の一致した近似を与えることを示すこと。
• すべての成分ラベル順列に基づく対称化推定量が、ギブス・サンプリングが1つのモードに閉じ込められても、正しい周辺密度を回復することを示すこと。
• 成分数が未知の混合モデルにおけるモデル選択のための、可 reversible jump MCMC に代わる実用的で計算的に実行可能な代替手法を提供すること。
• 元のChib推定量とパーミュテーション平均化推定量との乖離が、MCMCの混合品質の診断に有効であることを確立すること。

提案手法

• 論文は、Chib (1995) の周辺尤度近似を用いるが、成分ラベルの順列平均化によってラベルスイッチングを補正する。
• すべての成分ラベル順列に基づく後方密度推定を実行し、その結果得られる周辺尤度推定値を平均化する対称化推定量を導入する。
• MCMCによる事後分布 πk(θk|x) のサンプリングに依存し、その後、完全条件付き分布から成分割り当て z_k^(t) をシミュレートする。
• k が大きい場合には全順列平均化が非現実的となるため、計算効率を維持するために、恒等順列を含むランダムな順列サブセットを用いる。
• 完全条件付き分布を条件付きにすることでRao–Blackwellisationを活用し、推定の精度を向上させる。
• 論文は、銀河データセットを用いて手法を検証し、ブルートフォースな事前分布シミュレーションと既存のベンチマークとを比較している。

実験結果

リサーチクエスチョン

• RQ1 ラベルスイッチングが存在する混合モデルにおいて、Chib (1995) の周辺尤度近似は一貫性を保つように修正可能か？
• RQ2 成分ラベルのすべての順列の平均化により、有限混合モデルにおける真の周辺尤度推定値が回復されるか？
• RQ3 元のChib推定量とパーミュテーション平均化推定量との乖離は、MCMCの混合品質を反映するか？
• RQ4 ギブス・サンプリングが複数の事後モードを探索しない状況を、対称化推定量が検出できるか？
• RQ5 周辺尤度推定におけるラベルスイッチングバイアスに対して、log(k!) の補正は信頼できる近似か？

主な発見

• すべての成分ラベル順列の平均化を行う対称化Chib推定量は、真の周辺尤度を回復し、ラベルスイッチングによって生じるバイアスを排除する。
• 銀河データセットにおける k=3 の場合、元のChib推定量は log m_k(x) = -105.1396 を示したが、パーミュテーション平均化推定値は -103.3479 であり、理論的補正 log(3!) = 1.7918 と一致した。
• k=4 の場合、元の推定値は -104.1936、対称化推定値は -102.6642 であり、差が log(4!) = 3.1777 よりも小さく、ラベルスイッチングバイアスが低減していることが示された。
• k=5 の場合、元の推定値と対称化推定値はそれぞれ -103.91 と -101.93 であり、差が log(5!) = 4.7875 よりも小さく、k が増加するにつれてバイアスが減少していることが示された。
• 元のChib推定量とパーミュテーション平均化推定量との乖離は、MCMCの混合が不十分である（特に1つの事後モードに閉じ込められている）場合に、信頼できる診断指標となる。
• k が大きい場合でも、恒等順列を含むランダムな順列サブセットを用いることで、計算が現実的であり、銀河データセットにおける k=6,7,8 においてその有効性が示された。