[論文レビュー] Bayesian model averaging via mixture model estimation

Merlin Keller, Kaniav Kamary|arXiv (Cornell University)|Nov 27, 2017

Statistical Methods and Bayesian Inference参考文献 11被引用数 3

ひとこと要約

本稿では、混合モデル推定に基づくベイジアンモデル平均化（BMA）手法を提案する。この手法により、包括的な混合モデルからのサンプリングによって、共有パラメータに不適切な事前分布を用いることが可能になる。アプローチはMCMCを用いてBMA事後分布サンプルを生成し、そのサンプルからモンテカルロ法および重要度サンプリングを用いてモデル事後確率およびモデル固有の事後期待値を効率的に推定する。自己 pruning 性質のおかげで、分散が低く保証された推定が可能である。

ABSTRACT

A new approach for Bayesian model averaging (BMA) and selection is proposed, based on the mixture model approach for hypothesis testing in Kaniav et al., 2014. Inheriting from the good properties of this approach, it extends BMA to cases where improper priors are chosen for parameters that are common to all candidate models. From an algorithmic point of view, our approach consists in sampling from the posterior distribution of the single-datum mixture of all candidate models, weighted by their prior probabilities. We show that this posterior distribution is equal to the 'Bayesian-model averaged' posterior distribution over all candidate models, weighted by their posterior probability. From this BMA posterior sample, a simple Monte-Carlo estimate of each model's posterior probability is derived, as well as importance sampling estimates for expectations under each model's posterior distribution.

研究の動機と目的

• 共有パラメータに不適切な事前分布が用いられる場合のベイジアンモデル平均化の課題に対処すること。
• モデル選択および平均化におけるベイズ因子計算の代替として、汎用的で計算が効率的な手法を提供すること。
• 包括的な混合モデルにおける1回のMCMCランによって、ベイジアンモデル平均事後分布から直接サンプリングすることを可能にすること。
• BMA事後サンプルおよびモデルインジケータに基づき、モンテカルロ推定と重要度サンプリングを用いて、モデル固有の事後期待値を信頼性高く推定すること。
• 自己 pruning 性質を活用することで、高事後確率モデルに対して安定した推定を保証し、効率性を向上させること。

提案手法

• すべての候補モデルを1つのデータ点の混合モデルとして扱い、その重みを事前確率とする。これにより、ベイジアンモデル平均化を混合モデルの特殊ケースとして定式化する。
• MCMCを用いて、混合モデルの事後分布（モデルインジケータおよびすべてのモデル固有パラメータを含む）からサンプリングする。
• 各モデルの事後確率のモンテカルロ推定値を、そのモデルに割り当てられたサンプルの割合から導出する。
• BMA事後サンプルおよびモデルインジケータに基づき、重要度サンプリングを用いてモデル固有の事後分布を再構築する。
• 自己 pruning 性質を活用して推定の安定性を確保し、各モデルの事後確率に比例した有効サンプルサイズを有する重要度重みを維持する。
• 混合事後分布が適切（proper）であれば、共有パラメータに不適切な事前分布を用いることが可能となり、従来のBMAの主な制限を克服する。

実験結果

リサーチクエスチョン

• RQ1 共有パラメータに不適切な事前分布を許容できるように、ベイジアンモデル平均化を混合モデル推定問題に再定式化できるか？
• RQ2 包括的な混合モデルにおける1回のMCMCランから、モデル事後確率およびモデル固有の事後期待値を効率的に推定する方法は何か？
• RQ3 BMA事後サンプルから導出されたモンテカルロ推定および重要度サンプリング推定の有限標本特性は何か？
• RQ4 提案手法は、特に高事後確率モデルに対して、頑健性および効率性を示すか？
• RQ5 候補モデル数やパラメータ次元数が大きくなった場合、この手法の実用的制限は何か？

主な発見

• 混合モデルの事後分布は数学的にベイジアンモデル平均事後分布と同等であり、混合モデルのサンプリングによって正確なBMA推論が可能になる。
• モデル事後確率のモンテカルロ推定値は安定的で、分散が小さく、有効サンプルサイズ（ESS）がモデルの事後確率に比例する。
• モデル固有の事後期待値の重要度サンプリング推定値は信頼性が高く、シミュレーション研究ではきわめて狭い信頼区間が観察された。
• シミュレーションにおいて真のモデルが正確に回復され、BMA事後推定値は真のモデルからの推定値とほぼ同等の精度を示した。
• 本手法により、共有パラメータに不適切な事前分布を用いることが可能となり、従来のBMA手法に比べ顕著な利点を有する。
• 自己 pruning 性質により、高事後確率モデルの推定が良好に保たれ、その重要度サンプリング重みの有効サンプルサイズが高くなる。