[论文解读] Extending approximate Bayesian computation methods to high dimensions via a Gaussian copula model

Jingjing Li, David J. Nott+2 more|arXiv (Cornell University)|Apr 16, 2015

Markov Chains and Monte Carlo Methods参考文献 30被引用 6

一句话总结

该论文提出了一种基于高斯依存结构（Gaussian copula）的方法，通过建模参数之间的成对依赖关系，同时允许非参数边缘分布，将近似贝叶斯计算（ABC）扩展至高维参数空间。通过分别估计二元后验分布并利用高斯依存结构进行组合，该方法克服了摘要统计量中的维度灾难问题，得到了一种可处理的解析后验近似，即使在真实后验分布非正态时也表现出良好性能。

ABSTRACT

Approximate Bayesian computation (ABC) refers to a family of inference methods used in the Bayesian analysis of complex models where evaluation of the likelihood is difficult. Conventional ABC methods often suffer from the curse of dimensionality, and a marginal adjustment strategy was recently introduced in the literature to improve the performance of ABC algorithms in high-dimensional problems. The marginal adjustment approach is extended using a Gaussian copula approximation. The method first estimates the bivariate posterior for each pair of parameters separately using a 2-dimensional Gaussian copula, and then combines these estimates together to estimate the joint posterior. The approximation works well in large sample settings when the posterior is approximately normal, but also works well in many cases which are far from that situation due to the nonparametric estimation of the marginal posterior distributions. If each bivariate posterior distribution can be well estimated with a low-dimensional ABC analysis then this Gaussian copula method can extend ABC methods to problems of high dimension. The method also results in an analytic expression for the approximate posterior which is useful for many purposes such as approximation of the likelihood itself. This method is illustrated with several examples.

研究动机与目标

• 解决ABC方法中的维度灾难问题，该问题源于高维摘要统计量使得核密度估计不可靠。
• 通过利用参数对之间的依赖结构，提升ABC在高维参数空间中的性能。
• 开发一种提供联合后验解析近似的算法，支持无似然推断与频率学派比较。
• 通过结合稳健摘要统计量与依存ABC框架，实现在异常值存在下的稳健模型选择。
• 为复杂模型提供一种实用且可扩展的标准ABC替代方案，尤其适用于似然不可计算且需要高维推断的场景。

提出的方法

• 使用高斯依存结构建模联合后验，通过二元后验估计捕捉参数对之间的依赖关系。
• 利用二维ABC分析结合平滑核与摘要统计量，估计每个二元后验分布 $\pi(\theta_i, \theta_j|s_{obs})$。
• 采用非参数估计方法（如核密度）处理单变量边缘后验，以实现对正态分布之外的灵活性。
• 通过高斯依存结构将估计的二元后验与边缘分布组合，形成完整的联合后验近似。
• 构建近似后验的解析表达式，便于似然近似与频率学派推断。
• 使用半自动方法或基于模型的先验知识选择信息丰富的摘要统计量 $s_{(i)}$ 和 $s_{(i,j)}$，以提升估计效率。

实验结果

研究问题

• RQ1 当标准ABC因维度灾难而失效时，基于依存结构的ABC方法是否能有效处理高维参数推断？
• RQ2 当真实后验分布非正态或具有复杂依赖结构时，高斯依存近似的表现如何？
• RQ3 该方法在多大程度上能为无似然推断与模型比较提供有用的解析后验近似？
• RQ4 当结合稳健摘要统计量时，该方法在异常值存在下是否仍保持稳健性？
• RQ5 在高维设置下，该依存ABC方法相较于标准ABC与边缘调整方法的性能如何？

主要发现

• 该依存ABC方法通过减少对摘要统计量高维核密度估计的依赖，显著提升了高维问题中ABC的性能。
• 该方法生成了有效的联合后验解析近似，支持似然近似，并便于作为参考进行频率学派分析。
• 即使真实后验分布与正态分布相去甚远，该方法仍表现良好，原因在于边缘后验的非参数估计。
• 在大样本设置下，随着后验趋近正态分布，依存近似精度逐渐提高，与渐近理论一致。
• 该方法在存在异常值时仍能成功识别高后验概率模型，在稳健模型选择任务中优于标准ABC。
• 该方法具有良好的可扩展性与实用性，尤其在结合半自动摘要统计量选择时，为复杂高维模型提供了一种可行的标准ABC替代方案。