[论文解读] Approximate Bayesian computation and Bayes linear analysis: Towards high-dimensional ABC

David J. Nott, Yanan Fan+2 more|arXiv (Cornell University)|Dec 20, 2011

Markov Chains and Monte Carlo Methods参考文献 28被引用 6

一句话总结

本文提出一种新方法，通过结合回归调整ABC与单变量边缘后验估计，以改进高维近似贝叶斯计算（ABC）。该方法利用贝叶斯线性分析将回归调整解释为矩的近似，随后通过用更精确的单变量估计替换初始ABC样本中的边缘分布，从而改进联合后验分布，在高维设置下显著提升后验精度。

ABSTRACT

Bayes linear analysis and approximate Bayesian computation (ABC) are techniques commonly used in the Bayesian analysis of complex models. In this article we connect these ideas by demonstrating that regression-adjustment ABC algorithms produce samples for which first and second order moment summaries approximate adjusted expectation and variance for a Bayes linear analysis. This gives regression-adjustment methods a useful interpretation and role in exploratory analysis in high-dimensional problems. As a result, we propose a new method for combining high-dimensional, regression-adjustment ABC with lower-dimensional approaches (such as using MCMC for ABC). This method first obtains a rough estimate of the joint posterior via regression-adjustment ABC, and then estimates each univariate marginal posterior distribution separately in a lower-dimensional analysis. The marginal distributions of the initial estimate are then modified to equal the separately estimated marginals, thereby providing an improved estimate of the joint posterior. We illustrate this method with several examples. Supplementary materials for this article are available online.

研究动机与目标

• 解决标准回归调整ABC在高维模型中因维度灾难导致联合后验近似失败的局限性。
• 建立回归调整ABC与贝叶斯线性分析之间的理论联系，将回归调整解释为后验期望与方差的近似。
• 开发一种实用且可扩展的方法，通过优化单变量边缘分布，提升高维参数空间中ABC后验估计的精度。
• 证明即使初始联合依赖结构较差，边缘调整也能显著提升后验质量。

提出的方法

• 使用回归调整ABC在高维参数空间中生成初始的、粗略的联合后验分布样本。
• 应用局部线性回归模型，基于核加权最小二乘法估计给定摘要统计量下参数的条件分布，计算调整后的参数抽取值。
• 使用低维ABC方法（如基于MCMC的ABC）分别估计每个单变量边缘后验分布，以提高单个参数的估计精度。
• 用单独估计出的更精确的单变量边缘分布替换初始ABC样本中的边缘分布，同时保留原始的依赖结构，仅提升边缘拟合度。
• 将所得修正样本用作改进后的联合后验近似，其边缘矩更准确，且模型拟合度更好。
• 通过模拟研究和真实世界应用（包括一个水文模型）验证该方法，比较模型拟合度与后验质量。

实验结果

研究问题

• RQ1 回归调整ABC能否通过贝叶斯线性分析的视角进行有意义的解释，特别是从矩近似的角度？
• RQ2 当标准回归调整因高维性而失效时，如何提升高维ABC后验近似的精度？
• RQ3 用更精确的估计替换初始ABC样本中的单变量边缘分布，能在多大程度上提升联合后验的整体质量？
• RQ4 结合高维回归调整ABC与低维边缘估计的混合方法，是否能在复杂模型中超越标准ABC方法？

主要发现

• 回归调整ABC样本在贝叶斯线性框架下近似后验均值与方差，为该方法在探索性分析中的使用提供了理论依据。
• 当回归模型设定错误或摘要统计量不足时，标准回归调整ABC的联合后验可能显著偏倚，尤其在边缘位置上。
• 用低维ABC方法单独估计的更精确边缘分布替换初始ABC样本中的单变量边缘后，模型拟合度显著提升，以对数流速数据的中位绝对误差衡量。
• 即使初始依赖结构较差，该边缘调整方法生成的后验也比未调整的回归ABC更准确，主要得益于改进的边缘矩。
• 该方法对模型偏差和输入不确定性具有鲁棒性，结果表明在AWBM水文模型中，输入不确定性可能比外部模型偏差解释了更多的模型拟合不足。
• 该方法使标准ABC方法可应用于中等到高维问题，扩展了ABC在实际应用中的适用范围，突破了现有局限。