[论文解读] Machine learning assisted Bayesian model comparison: learnt harmonic mean estimator

Jason D. McEwen, Christopher G. R. Wallis+2 more|arXiv (Cornell University)|Nov 24, 2021

Gaussian Processes and Bayesian Inference被引用 15

一句话总结

本文提出了一种学习型调和平均估计器，这是一种通过机器学习增强的贝叶斯模型比较中边缘似然计算方法。通过将调和平均估计器重新表述为重要性采样，并学习最优目标分布以最小化方差，该方法实现了鲁棒且可扩展的贝叶斯证据计算，相比最先进方法，在1/3时间内可获得3至6倍更多的样本。

ABSTRACT

We resurrect the infamous harmonic mean estimator for computing the marginal likelihood (Bayesian evidence) and solve its problematic large variance. The marginal likelihood is a key component of Bayesian model selection to evaluate model posterior probabilities; however, its computation is challenging. The original harmonic mean estimator, first proposed by Newton and Raftery in 1994, involves computing the harmonic mean of the likelihood given samples from the posterior. It was immediately realised that the original estimator can fail catastrophically since its variance can become very large (possibly not finite). A number of variants of the harmonic mean estimator have been proposed to address this issue although none have proven fully satisfactory. We present the \\emph{learnt harmonic mean estimator}, a variant of the original estimator that solves its large variance problem. This is achieved by interpreting the harmonic mean estimator as importance sampling and introducing a new target distribution. The new target distribution is learned to approximate the optimal but inaccessible target, while minimising the variance of the resulting estimator. Since the estimator requires samples of the posterior only, it is agnostic to the sampling strategy used. We validate the estimator on a variety of numerical experiments, including a number of pathological examples where the original harmonic mean estimator fails catastrophically. We also consider a cosmological application, where our approach leads to $\\sim$ 3 to 6 times more samples than current state-of-the-art techniques in 1/3 of the time. In all cases our learnt harmonic mean estimator is shown to be highly accurate. The estimator is computationally scalable and can be applied to problems of dimension $O(10^3)$ and beyond. Code implementing the learnt harmonic mean estimator is made publicly available

研究动机与目标

• 解决原始调和平均估计器在贝叶斯模型选择中计算边缘似然时存在的高方差和不稳定性问题。
• 开发一种可扩展、鲁棒的贝叶斯证据计算方法，且对所使用的后验采样策略不敏感。
• 在高维问题中实现准确且高效的模型比较，包括现有方法失效的病态情形。
• 提供一种实用的开源软件实现，便于在科学计算和基于模拟的推断中广泛使用。

提出的方法

• 将调和平均估计器重新解释为一种具有新型可学习目标分布的重要性采样过程。
• 训练一个机器学习模型（具体为核密度估计器）以近似最小化估计器方差的最优但不可计算的目标分布。
• 使用MCMC或集合采样器生成的后验样本作为输入来训练目标分布，确保与任何采样方法兼容。
• 在模型训练过程中通过可微优化最小化所得边缘似然估计器的方差。
• 实施计算检查以评估估计器的可靠性，包括方差估计和合理性测试。
• 将该方法集成到开源的harmonic软件包中，原生兼容emcee及其他MCMC采样器。

实验结果

研究问题

• RQ1 机器学习方法能否通过学习最优重要性采样目标分布，有效稳定调和平均估计器？
• RQ2 在高维或病态后验几何结构下，所提出的方法是否能显著降低原始调和平均估计器的方差？
• RQ3 学习型调和平均估计器在维度达到O(10^3)或更高的问题中，其可扩展性如何，同时保持准确性？
• RQ4 该方法在采样效率和证据估计精度方面是否能超越最先进的技术（如PolyChord）？
• RQ5 该估计器在多种基准问题和实际应用（如宇宙学模型比较）中是否表现出鲁棒性和可靠性？

主要发现

• 学习型调和平均估计器在所有基准问题中均实现了高度准确的边缘似然估计，包括原始调和平均估计器会灾难性失效的情况。
• 在宇宙学模型比较中，该方法在相同硬件条件下，相比PolyChord，可在1/3时间内获得约3至6倍的后验样本。
• 该估计器具有良好的计算可扩展性，在维度高达O(10^3)及以上的任务中表现稳定可靠。
• 该方法对后验采样技术不敏感，可无缝集成到emcee等MCMC采样器中，这些采样器天然支持多条马尔可夫链。
• 实现该估计器的harmonic软件包测试覆盖率超过96%，并采用最佳软件工程实践，专为生产环境设计。
• 通过学习一个能紧密逼近归一化后验分布的目标分布，该估计器的方差相比原始调和平均估计器显著降低。