[论文解读] Bayesian model averaging via mixture model estimation

Merlin Keller, Kaniav Kamary|arXiv (Cornell University)|Nov 27, 2017

Statistical Methods and Bayesian Inference参考文献 11被引用 3

一句话总结

本文提出一种基于混合模型估计的贝叶斯模型平均（BMA）方法，通过从单一包含性混合模型中抽样，使共享参数可使用非正式先验。该方法利用MCMC生成BMA后验样本，通过蒙特卡洛和重要性抽样高效估计模型后验概率与模型特异性后验期望，且由于自修剪特性，估计结果具有保证的低方差。

ABSTRACT

A new approach for Bayesian model averaging (BMA) and selection is proposed, based on the mixture model approach for hypothesis testing in Kaniav et al., 2014. Inheriting from the good properties of this approach, it extends BMA to cases where improper priors are chosen for parameters that are common to all candidate models. From an algorithmic point of view, our approach consists in sampling from the posterior distribution of the single-datum mixture of all candidate models, weighted by their prior probabilities. We show that this posterior distribution is equal to the 'Bayesian-model averaged' posterior distribution over all candidate models, weighted by their posterior probability. From this BMA posterior sample, a simple Monte-Carlo estimate of each model's posterior probability is derived, as well as importance sampling estimates for expectations under each model's posterior distribution.

研究动机与目标

• 解决在多个模型中共享参数使用非正式先验时，贝叶斯模型平均所面临的挑战。
• 为模型选择与平均提供一种通用且计算高效的贝叶斯因子计算替代方法。
• 通过在单一包含性混合模型上进行一次MCMC运行，实现对贝叶斯模型平均后验的直接抽样。
• 推导基于BMA后验样本的可靠蒙特卡洛估计，用于模型后验概率，以及基于重要性抽样的模型特异性后验期望估计。
• 通过利用自修剪特性，确保估计过程行为良好，尤其提升高后验概率模型的估计效率。

提出的方法

• 通过将所有候选模型的单个数据混合并按其先验概率加权，将贝叶斯模型平均形式化为混合建模的一个特例。
• 使用MCMC从包含模型指示变量和所有模型特异性参数的混合模型联合后验分布中抽样。
• 通过计算分配至某模型的抽样比例，推导各模型后验概率的蒙特卡洛估计。
• 基于BMA后验样本和模型指示变量，利用重要性抽样重构模型特异性后验分布。
• 通过利用自修剪特性确保估计稳定性，其中重要性权重的有效样本量与各模型后验概率成比例。
• 只要由此产生的混合后验是正规的，即可允许共享参数使用非正式先验，从而克服传统BMA方法的关键局限。

实验结果

研究问题

• RQ1 贝叶斯模型平均能否被重新表述为混合模型估计问题，以允许对共享参数使用非正式先验？
• RQ2 如何从单一包含性混合模型上的MCMC运行中，高效估计模型后验概率与模型特异性后验期望？
• RQ3 从BMA后验样本中导出的蒙特卡洛与重要性抽样估计的有限样本性质如何？
• RQ4 所提出的方法在高后验概率模型中是否表现出稳健性与高效性？
• RQ5 当候选模型数量或参数维度较大时，该方法的实际局限性是什么？

主要发现

• 混合模型的后验分布在数学上等价于贝叶斯模型平均后验，使得通过混合抽样可实现精确的BMA推断。
• 模型后验概率的蒙特卡洛估计表现良好，方差较低，有效样本量（ESS）与模型后验概率成比例。
• 模型特异性后验期望的重要性抽样估计可靠，模拟研究中观察到紧密的置信区间。
• 该方法在模拟中成功恢复了真实模型，BMA后验估计精度几乎与真实模型的估计相当。
• 该方法允许对共享参数使用非正式先验，相较于传统BMA方法具有显著优势。
• 自修剪特性确保高概率模型得到良好估计，因为其重要性抽样权重保持较高的有效样本量。