[论文解读] K2-ABC: Approximate Bayesian Computation with Kernel Embeddings

Mijung Park, Wittawat Jitkrittum+1 more|arXiv (Cornell University)|Feb 9, 2015

Markov Chains and Monte Carlo Methods参考文献 29被引用 27

一句话总结

该论文提出K2-ABC，一种非参数近似贝叶斯计算方法，通过在再生核希尔伯特空间（RKHS）中使用经验数据分布的核嵌入，替代了人工选择摘要统计量的过程。通过使用最大均值差异（MMD）作为观测数据与模拟数据之间的差异度量，K2-ABC实现了无似然信息损失的推断，在模拟数据和真实生物数据上均获得了比现有方法更精确的后验近似。

ABSTRACT

Complicated generative models often result in a situation where computing the likelihood of observed data is intractable, while simulating from the conditional density given a parameter value is relatively easy. Approximate Bayesian Computation (ABC) is a paradigm that enables simulation-based posterior inference in such cases by measuring the similarity between simulated and observed data in terms of a chosen set of summary statistics. However, there is no general rule to construct sufficient summary statistics for complex models. Insufficient summary statistics will "leak" information, which leads to ABC algorithms yielding samples from an incorrect (partial) posterior. In this paper, we propose a fully nonparametric ABC paradigm which circumvents the need for manually selecting summary statistics. Our approach, K2-ABC, uses maximum mean discrepancy (MMD) as a dissimilarity measure between the distributions over observed and simulated data. MMD is easily estimated as the squared difference between their empirical kernel embeddings. Experiments on a simulated scenario and a real-world biological problem illustrate the effectiveness of the proposed algorithm.

研究动机与目标

• 为解决近似贝叶斯计算（ABC）中选择足够摘要统计量的挑战，该挑战常因信息丢失导致推断偏差。
• 开发一种完全非参数的ABC框架，通过将数据分布嵌入再生核希尔伯特空间（RKHS），避免依赖手工设计的统计量。
• 利用最大均值差异（MMD）作为经验数据分布之间的差异度量，实现对完整数据的直接比较，无需摘要统计量。
• 通过使用特征核（characteristic kernels），使RKHS嵌入具有单射性，确保后验推断中无信息损失，从而实现完整后验近似。
• 通过在ABC框架中采用线性时间与随机傅里叶特征近似MMD，提升后验精度与计算效率。

提出的方法

• 使用正定核将经验数据分布嵌入再生核希尔伯特空间（RKHS），其中嵌入结果作为非参数摘要统计量。
• 使用最大均值差异（MMD）作为经验观测数据分布与模拟数据分布之间差异的非参数度量，通过核函数计算。
• 采用线性时间MMD估计器，以O(M(n_x + n_y)))的时间复杂度计算差异度量，其中M为ABC迭代次数。
• 应用随机傅里叶特征近似核函数，实现在O(MD(n_x + n_y)))时间复杂度下的高效MMD估计，D为特征维度。
• 将观测数据的核嵌入用作ABC中的充分统计量，当核为特征核时，确保后验p(θ|μ(y*))与完整后验p(θ|y*)等价。
• 将基于MMD的差异度量整合进ABC拒绝采样框架，根据参数提议在RKHS嵌入空间中的接近程度进行接受。

实验结果

研究问题

• RQ1 在再生核希尔伯特空间（RKHS）中使用核嵌入能否作为ABC中充分的非参数摘要统计量，从而消除对手动选择摘要统计量的需求？
• RQ2 在经验数据分布之间使用MMD作为差异度量，是否能比依赖手工设计摘要统计量的传统ABC方法获得更精确的后验近似？
• RQ3 如何在ABC中高效计算MMD，以在保持统计效能的同时实现可扩展性并避免信息丢失？
• RQ4 不同核选择在真实世界推断任务中对所提出的K2-ABC框架的性能与效率影响有多大？
• RQ5 在复杂高维数据上，该方法是否能在后验精度方面超越现有最先进ABC方法（如SL-ABC）？

主要发现

• 在果蝇数据集上，采用线性时间MMD估计器（K2-lin）和随机傅里叶特征MMD估计器（K2-rf）的K2-ABC均优于最佳现有方法SL-ABC。
• 使用核嵌入作为摘要统计量可确保后验推断中无信息损失，因为特征核使嵌入具有单射性且充分。
• 随机傅里叶特征近似使MMD估计效率提升，计算成本为O(MD(n_x + n_y))，使该方法可扩展至更大数据集。
• 在模拟场景与真实世界生物学问题中，K2-ABC获得的后验估计比依赖手工设计摘要统计量的方法更精确。
• 该方法在不同核选择下表现出稳健性，性能对核选择敏感，表明领域特定的核设计可进一步提升推断质量。