[论文解读] Marginal Likelihoods from Monte Carlo Markov Chains

Alan Heavens, Y. Fantaye+5 more|arXiv (Cornell University)|Apr 11, 2017

Insurance, Mortality, Demography, Risk Management参考文献 1被引用 29

一句话总结

该论文提出一种基于k-最近邻距离与马氏距离的贝叶斯最近邻方法，用于从MCMC样本中估计边缘似然（贝叶斯证据）。在20维空间中使用10⁵个样本时，其精度达到约2倍，表明k=1为最优选择，预白化可提升性能，从而实现在高维参数空间中的稳健模型比较。

ABSTRACT

In this paper, we present a method for computing the marginal likelihood, also known as the model likelihood or Bayesian evidence, from Markov Chain Monte Carlo (MCMC), or other sampled posterior distributions. In order to do this, one needs to be able to estimate the density of points in parameter space, and this can be challenging in high numbers of dimensions. Here we present a Bayesian analysis, where we obtain the posterior for the marginal likelihood, using $k$th nearest-neighbour distances in parameter space, using the Mahalanobis distance metric, under the assumption that the points in the chain (thinned if required) are independent. We generalise the algorithm to apply to importance-sampled chains, where each point is assigned a weight. We illustrate this with an idealised posterior of known form with an analytic marginal likelihood, and show that for chains of length $\sim 10^5$ points, the technique is effective for parameter spaces with up to $\sim 20$ dimensions. We also argue that $k=1$ is the optimal choice, and discuss failure modes for the algorithm. In a companion paper (Heavens et al. 2017) we apply the technique to the main MCMC chains from the 2015 Planck analysis of cosmic background radiation data, to infer that quantitatively the simplest 6-parameter flat $Λ$CDM standard model of cosmology is preferred over all extensions considered.

研究动机与目标

• 开发一种从MCMC样本中计算边缘似然的方法，这对于贝叶斯模型比较至关重要。
• 解决从MCMC样本中估计高维密度的挑战，其中维度灾难会阻碍标准密度估计方法。
• 将该方法推广至重要性采样链，从而扩大其在非i.i.d.后验样本中的适用范围。
• 评估该方法在不同维度和样本大小下的性能与鲁棒性，特别是在高维参数空间中。
• 识别能提升边缘似然估计精度与降低方差的最优k值及变换策略（如预白化）

提出的方法

• 利用参数空间中k-最近邻距离估计MCMC样本的局部密度，利用密度与邻近点所张成体积的倒数成正比的原理。
• 采用马氏距离度量以考虑高维参数空间中的相关性与尺度差异，相比欧氏距离可显著提升精度。
• 在贝叶斯框架下结合所有MCMC点的似然，形成边缘似然的后验分布。
• 通过在最近邻密度估计中引入权重，将该方法推广至重要性采样链。
• 通过使用链的协方差矩阵将参数变换为不相关且单位方差的分量，对链进行预白化，从而在变换空间中使用欧氏距离。
• 利用变换的雅可比行列式，正确计算预白化空间中的边缘似然。

实验结果

研究问题

• RQ1 能否使用最近邻密度估计方法，从标准MCMC链中准确估计边缘似然？
• RQ2 k值（最近邻数量）的选择如何影响边缘似然估计的精度与方差？
• RQ3 在高维参数空间中，使用马氏距离或预白化是否能显著提升性能？
• RQ4 该方法的失效模式是什么？在何种条件下会失效？
• RQ5 该方法能否推广至重要性采样链？在非i.i.d.采样下表现如何？

主要发现

• 在20维参数空间中，使用长度约为10⁵的链时，该方法的精度达到约2倍，且误差保持在两倍以内。
• k=1被确定为最优选择，尽管k值增大可降低方差，但会引入更大偏差，从而降低精度。
• 与朴素的欧氏距离相比，使用马氏距离或对链进行预白化能显著提升性能，尤其在高维空间中效果更明显。
• 当目标分布在典型最近邻距离范围内无法被常数近似时，该方法会失效，特别是当(αₘN/V)^(-1/m) > 0.5时。
• 预白化可降低噪声并提升精度，即使k=1的估计更嘈杂，其精度仍高于k=4。
• 该算法假设样本独立，因此若存在自相关，建议对链进行稀释处理。