[論文レビュー] Bayesian finite mixtures: a note on prior specification and posterior computation

Agostino Nobile|ArXiv.org|Nov 3, 2007

Bayesian Methods and Mixture Models参考文献 15被引用数 15

ひとこと要約

本稿では、ベイジアン有限混合モデルにおけるコンポonent数の事後分布を計算するための新規手法を提案する。コンポonent数にポアソン(1)事前分布を採用することを提唱し、MCMC出力と周辺尤度表現を用いた計算的に効率的なアプローチを提供する。主な貢献は、実証的性能が裏付けられた、原理的かつスケーラブルなコンポonent推定手法である。

ABSTRACT

A new method for the computation of the posterior distribution of the number k of components in a finite mixture is presented. Two aspects of prior specification are also studied: an argument is made for the use of a Poisson(1) distribution as the prior for k; and methods are given for the selection of hyperparameter values in the mixture of normals model, with natural conjugate priors on the components parameters.

研究の動機と目的

• ベイジアン有限混合モデルにおけるコンポonent数の事後分布を信頼性高く計算するための手法を開発すること。
• 実質的な事前情報が得られない場合に、コンポonent数にポアソン(1)事前分布を採用することの正当性を示すこと。
• 自然共役事前分布を用いた一変量正規分布の混合モデルにおけるハイパーパrameter選択の実用的指針を提供すること。
• MCMC出力と確率的恒等式を用いて、周辺尤度の数値的計算を改善すること。
• 銀河データセットをベンチマークとして用いて、本手法の有効性を示すこと。

提案手法

• チブ（1995）の基本的確率的恒等式とノビレ（2004）の周辺尤度表現を組み合わせ、コンポonent数の事後分布を計算する。
• MCMCサンプリングを用いて空のコンポonentの頻度を推定し、これを利用して周辺尤度を近似する。
• アロケーションベクトルとコンポonent別確率の表現を用いて、周辺尤度の計算可能な表現を導出する。
• 異なるコンポonent数における周辺尤度比を計算するための再帰的公式（例：式14, 15）を導出し、これを用いる。
• 分散パラメータ（τ と δ）の中央値推定値に基づく感度分析手順を導入し、ハイパーパラメータ選択を支援する。
• 銀河データセットを用いて手法を検証し、k の異なる値における結果を比較することで、モデルの安定性を評価する。

実験結果

リサーチクエスチョン

• RQ1 有限混合モデルにおけるコンポonent数の最も適切な非情報的事前分布は何か？
• RQ2 MCMC出力から有限混合モデルの周辺尤度をどのように効率的に計算できるか？
• RQ3 ハイパーパラメータの選択が正規分布混合モデルにおける事後推定に与える影響は何か？
• RQ4 実際の応用において、コンポonent数の事後分布を信頼性高く推定するにはどうすればよいか？
• RQ5 モデル構造が自然に、コンポonent数にポアソン(1)事前分布を採用することを示唆する程度はどの程度か？

主な発見

• ポアソン(1)分布は、モデルの構造的性質と整合することから、非情報的事前分布として理論的に正当化される。
• 提案手法により、MCMC出力と周辺尤度近似を用いて、k の事後分布を正確かつ効率的に計算可能である。
• 正規分布混合モデルにおけるハイパーパラメータ選択は、τ と δ の事後中央値の感度分析に基づき、τ は k=4 で飽和し、δ は k=6 で飽和することが示唆される。
• 本手法により、τ̂ = 0.04 および δ̂ = 2 の安定した推定値が得られ、これにより後続のMCMCランで効果的に利用可能である。
• 再帰的公式（14）および（15）により、異なるコンポonent数における周辺尤度比を計算するための計算的に実行可能な方法が提供される。
• 本手法は銀河データセットを用いて検証され、実世界の応用においても頑健性と実用的有用性を示している。