[論文レビュー] Non-informative reparameterisations for location-scale mixtures

Kamary, Kaniav, Lee, Jeong Eun+1 more|arXiv (Cornell University)|Jan 6, 2016

Bayesian Methods and Mixture Models参考文献 32被引用数 3

ひとこと要約

本稿では、混合分布の全体の平均および分散を用いて成分パラメータを表現することで、位置尺度有限混合モデルのための新しい再パrameterizationを提案する。これにより、コンactifiedパラメータ上に弱 informative な一様事前分布を適用可能となり、最小限の標本サイズでも適切な事後分布を保証する。また、ラベル交換問題を効率的に処理できる MCMC サンプリングが可能となり、混合モデルの参照ベイズ的枠組みを確立する。

ABSTRACT

While mixtures of Gaussian distributions have been studied for more than a century (Pearson, 1894), the construction of a reference Bayesian analysis of those models still remains unsolved, with a general prohibition of the usage of improper priors (Fr\\"uwirth-Schnatter, 2006) due to the ill-posed nature of such statistical objects. This difficulty is usually bypassed by an empirical Bayes resolution (Richardson and Green, 1997). By creating a new parameterisation cantered on the mean and variance of the mixture distribution itself, we are able to develop here a genuine non-informative prior for Gaussian mixtures with an arbitrary number of components. We demonstrate that the posterior distribution associated with this prior is almost surely proper and provide MCMC implementations that exhibit the expected exchangeability. While we only study here the Gaussian case, extension to other classes of location-scale mixtures is straightforward.

研究の動機と目的

• 非情報的事前分布下で不適切な事後分布に悩まされることが一般的な有限位置尺度混合モデルに対して、参照ベイズ的事前分布を構築する長年の課題に取り組む。
• 混合モデルに内在する同定可能性の問題とラベル交換問題を、成分を混合分布の全体パラメータに対して相対的に再パラメータ化することで克服する。
• 最小限の標本サイズで事後分布の適切性を保証する、原理的で弱 informative な事前分布枠組みを構築する。データ依存のハイパーパramータや不適切な事前分布を回避する。
• 変換されたパラメータ上に一様かつ適切な事前分布を適用できるように、コンパクトな再パラメータ化を用いて、強力な MCMC 推論を可能にする。
• 再パラメータ化の不変性を保証し、シミュレーションベースの推論を可能にする参照事前分布を導出することで、混合モデルの客観的ベイズ分析の基盤を提供する。

提案手法

• 各成分の位置およびスケールパラメータを、混合分布の全体平均および分散からのずれとして再パラメータ化する。
• 全体平均および分散を基準とした極座標に類似した座標を用いて、成分パラメータをコンパクトなパラメータ空間に変換し、有界性を保証する。
• コンパクト化されたパラメータ（例：相対的位置およびスケールのずれ）に一様事前分布を適用することで、元のパラメータ上に弱 informative な事前分布を誘導する。
• 元の位置尺度パラメータ上の Jeffreys 事前分布から関連する関数を変換し、再パラメータ化を経て不変性と適切性を保証する。
• メトロポリス・イン・ギブス法を用いた MCMC アルゴリズムを実装し、ラベル交換問題を解消するために、MCMC の後処理としてパラメータ空間上で k-means クラスタリングを用いた再ラベル付けを実施する。
• Ultimixt R パッケージを用いてアプローチを検証し、ガウス分布、ポアソン分布、指数分布の混合モデルにおいて収束性と正確な推定が確認された。

実験結果

リサーチクエスチョン

• RQ1 データ依存のハイパーパラメータに依存せずに、有限位置尺度混合モデルに対して不適切でない事前分布を構築可能か？
• RQ2 再パラメータ化を用いて、非有界な混合モデルパラメータをコンパクトな空間に変換し、一様事前分布と弱 informative な推論を可能にする方法は何か？
• RQ3 提案された再パラメータ化は、混合モデルの MCMC サンプリングにおけるラベル交換問題をどの程度軽減するか？
• RQ4 最小限の標本サイズ下でも、得られた事後分布は適切なままであるか？また、標準的な MCMC 法で信頼性高くシミュレート可能か？
• RQ5 この枠組みは、正規分布以外の位置尺度族（例：ポアソン分布、指数分布）の混合モデルへも拡張可能か？ また、事後分布の適切性とシミュレーション効率は維持されるか？

主な発見

• 全体平均および分散を用いた成分パラメータの再パラメータ化により、パラメータ空間がコンパクトな集合に変換され、変換されたパラメータ上に一様事前分布を適用可能となる。
• 元の位置尺度パラメータ上の Jeffreys 事前分布に基づく弱 informative な事前分布は、元の事前分布が不適切な事後分布を生じる場合でも、最小限の標本サイズで適切な事後分布を導く。
• 新しいパラメータ化を用いた MCMC サンプリングは、ラベル交換問題を効果的に処理でき、k-means クラスタリングによる MCMC 後処理により、真の値に近い推定値が得られた。
• ガウス混合モデルでは、先行研究と整合する組織構成成分（例：筋肉 59%、脂肪 33%）を回復でき、最大成分（34%）が主な関心対象の主要な数量を表している。
• ポアソン混合モデルの例では、標本サイズが増加するに従い、MCMC による成分平均および重みの推定値が真の値に収束し、50,000 回のシミュレーションからの実証的密度が真のパラメータとよく一致した。
• Ultimixt R パッケージは、ガウス分布、ポアソン分布、指数分布など複数の分布に加え、ネガティブ二項分布などの複合拡張に対しても、安定した収束と信頼性の高い推論を示した。