[論文レビュー] Bayesian inference of Gaussian mixture models with noninformative priors

Colin J. Stoneking|arXiv (Cornell University)|May 19, 2014

Bayesian Methods and Mixture Models参考文献 27被引用数 8

ひとこと要約

本論文は、各成分に対して最小限のデータ割り当てを課すことにより、非情報的で不適切な事前分布（例えばジェフレーズの事前分布）の使用を可能にする、新しいガウス混合モデルを提案する。これにより、主観的な事前分布チューニングを回避しつつ、適切な事後分布を保証する。この手法は、制約付きパrameter提案を用いたMCMCサンプリングを採用し、標準的な混合モデルにおける非適切な事後分布という一般的な問題を克服する。

ABSTRACT

This paper deals with Bayesian inference of a mixture of Gaussian distributions. A novel formulation of the mixture model is introduced, which includes the prior constraint that each Gaussian component is always assigned a minimal number of data points. This enables noninformative improper priors such as the Jeffreys prior to be placed on the component parameters. We demonstrate difficulties involved in specifying a prior for the standard Gaussian mixture model, and show how the new model can be used to overcome these. MCMC methods are given for efficient sampling from the posterior of this model.

研究の動機と目的

• 非情報的事前分布を用いたガウス混合モデルにおいて、標準的な不適切な事前分布が非適切な事後分布を引き起こすという課題に対処すること。
• 主観的または弱い情報的事前分布のパrameter化に依存する必要を排除すること。これは、事前分布の支配や感度問題を引き起こす可能性がある。
• ジェフレーズの事前分布を用いることができるモデルを構築すること。各成分に対して最小限のデータポイント制約を課すことにより、事後分布の適切性を保証する。
• データ依存の事前分布を避けつつ、頻度的カバレッジ性質を維持する、客観的かつデータ駆動型のGMMにおけるベイズ推論のアプローチを提供すること。

提案手法

• 各ガウス成分が最小限の数のデータポイントに割り当てられるように制約を課す、変更されたGMMの定式化を導入する。これにより、不適切な事前分布を用いても事後分布の適切性が保証される。
• 平均と標準偏差の制約付き提案分布を用いたメトロポリス・ハスティングスMCMCアルゴリズムを採用する。提案範囲を[μ_min, μ_max]および[σ_min, ∞)に制限することで、混合の改善が図られる。
• 成分割り当てGのためのデータ依存的提案を採用する。これは、一様な成分重み下での尤度に比例する。これにより、サンプリング効率が向上する。
• μおよびσのための対称的ランダムウォーク提案を用い、境界を満たすように反射またはラッピング処理を行う。また、受容確率に提案密度比を用いる。
• μおよびσの境界を課すことにより、ジェフレーズの事前分布を近似する。これにより、正確な不適切な事前分布を必要とせず、客観的推論を維持できる。
• 最小データ割り当て制約に違反する構成に対しては、π*(G)をゼロとする事前分布を用いる。これにより、有効な成分割り当てのみが考慮される。

実験結果

リサーチクエスチョン

• RQ1 ジェフレーズの事前分布のような非情報的不適切事前分布を、非適切な事後分布を引き起こさずにガウス混合モデルで意味的に使用できるか。
• RQ2 各成分ごとに最小限のデータポイント数を課すことで、弱い情報的または主観的な事前分布仕様の必要性が排除できるか。
• RQ3 弱い情報的事前分布を用いた標準的なGMMと比較して、提案モデルの事後分布の感度および収束性はどうなるか。
• RQ4 制約付きパrameter空間を有する本モデルにおいて、MCMCサンプリングは効率的かつ安定的に行えるか。

主な発見

• 本モデルは、各成分に最小限のデータ割り当てを課すことにより、不適切な事前分布を用いても適切な事後分布を保証する。これにより、標準的なGMMにおける事後分布の非適切性という根本的問題が解決される。
• 弱い情報的事前分布を用いた場合に一般的に生じる、事前分布の支配や感度問題を回避する。これは、単純なデータセット上で、こうした事前分布が非自明な事後分布行動を引き起こす例から明らかである。
• μおよびσの制約付き提案を用いたMCMCサンプリングにより、チェーンの混合性と収束性が著しく向上し、信頼性の高い事後分布推論が可能になる。
• 本モデルは、データ依存の事前分布と同程度の2次的正確な頻度的カバレッジを達成するが、事前分布自体をデータ依存にしない。これにより、ベイズ的整合性が保たれる。
• 最小データ制約により、ジェフレーズの事前分布を用いた客観的推論が可能になる。これは、主観的パrameterを導入することなく、適切性が保証されるためである。