[论文解读] K2-ABC: Approximate Bayesian Computation with Infinite Dimensional Summary Statistics via Kernel Embeddings

Mijung Park, Wittawat Jitkrittum+1 more|arXiv (Cornell University)|Feb 9, 2015

Bayesian Methods and Mixture Models被引用 5

一句话总结

K2-ABC 提出了一种非参数的近似贝叶斯计算方法，用核嵌入和最大均值差异（MMD）替代人工选择的摘要统计量，以衡量数据分布的相似性。通过使用 MMD 作为观测数据和模拟数据的经验核嵌入之间的差异度量，该方法在无需充分统计量的情况下实现了精确的后验推断，已在模拟数据和生物数据集上得到验证。

ABSTRACT

Complicated generative models often result in a situation where computing the likelihood of observed data is intractable, while simulating from the conditional density given a parameter value is relatively easy. Approximate Bayesian Computation (ABC) is a paradigm that enables simulation-based posterior inference in such cases by measuring the similarity between simulated and observed data in terms of a chosen set of summary statistics. However, there is no general rule to construct sufficient summary statistics for complex models. Insufficient summary statistics will leak information, which leads to ABC algorithms yielding samples from an incorrect (partial) posterior. In this paper, we propose a fully nonparametric ABC paradigm which circumvents the need for manually selecting summary statistics. Our approach, K2-ABC, uses maximum mean discrepancy (MMD) as a dissimilarity measure between the distributions over observed and simulated data. MMD is easily estimated as the squared difference between their empirical kernel embeddings. Experiments on a simulated scenario and a real-world biological problem illustrate the effectiveness of the proposed algorithm.

研究动机与目标

• 解决在似然函数难以计算的复杂模型中，近似贝叶斯计算（ABC）方法中选择充分摘要统计量的挑战。
• 克服传统 ABC 方法依赖手工设计、可能不充分的摘要统计量所带来的局限性，这些局限性可能导致错误的后验推断。
• 开发一种完全非参数的 ABC 框架，避免对领域特定摘要统计量的设计需求。
• 通过利用核嵌入和 MMD 进行分布层面的比较，实现准确的后验近似。

提出的方法

• 使用核嵌入在再生核希尔伯特空间（RKHS）中表示观测数据和模拟数据的经验分布。
• 采用最大均值差异（MMD）作为观测数据和模拟数据经验核嵌入之间非参数差异度量。
• 直接从数据估计 MMD，使用经验核嵌入之间平方差的形式，避免密度估计。
• 将基于 MMD 的距离整合进 ABC 拒绝采样或序列蒙特卡洛框架中，以实现后验近似。
• 使用通用核（如高斯 RBF 核）以确保 MMD 具有特征性，从而实现一致的分布比较。
• 使方法能够自适应地捕捉复杂的数据结构，而无需对摘要统计量做参数假设。

实验结果

研究问题

• RQ1 基于核嵌入的非参数差异度量是否能够替代复杂模型中 ABC 的手工摘要统计量？
• RQ2 使用 MMD 作为经验核嵌入之间差异度量，是否能比传统摘要统计量带来更准确的后验近似？
• RQ3 在标准 ABC 因摘要统计量不足而失效的情况下，所提出的 K2-ABC 方法表现如何？
• RQ4 K2-ABC 是否能在具有不可计算似然和复杂数据结构的真实世界生物学问题中实现可靠的推断？

主要发现

• K2-ABC 在无需手动选择摘要统计量的情况下实现了精确的后验推断，消除了因统计量不充分导致的信息泄露风险。
• 在传统 ABC 使用不良摘要统计量失败的模拟场景中，该方法展示了改进的后验近似性能。
• 在真实世界生物学问题中，K2-ABC 在标准 ABC 使用常规摘要统计量失败的情况下，成功恢复了后验分布。
• 使用 MMD 作为分布层面的差异度量，使得复杂数据分布的一致且非参数化比较成为可能。
• 经验核嵌入使该方法能够有效捕捉高维和非线性数据结构。
• 该方法对模型复杂性具有鲁棒性，且对摘要统计量无需参数假设。