[论文解读] DR-ABC: Approximate Bayesian Computation with Kernel-Based Distribution Regression

Jovana Mitrovic, Dino Sejdinović+1 more|arXiv (Cornell University)|Feb 15, 2016

Markov Chains and Monte Carlo Methods参考文献 23被引用 10

一句话总结

该论文提出DR-ABC，一种新颖的框架，用于在近似贝叶斯计算（ABC）中构建问题特定的摘要统计量，采用基于核的分布回归方法。通过在再生核希尔伯特空间（RKHS）中使用核岭回归建模数据分布与最优摘要统计量之间的函数关系，DR-ABC实现了更具信息量、更灵活且更高效的推断——在玩具模型和真实世界模型中，其后验近似误差显著低于当前最先进方法（如SA-ABC和K2-ABC）。

ABSTRACT

Performing exact posterior inference in complex generative models is often difficult or impossible due to an expensive to evaluate or intractable likelihood function. Approximate Bayesian computation (ABC) is an inference framework that constructs an approximation to the true likelihood based on the similarity between the observed and simulated data as measured by a predefined set of summary statistics. Although the choice of appropriate problem-specific summary statistics crucially influences the quality of the likelihood approximation and hence also the quality of the posterior sample in ABC, there are only few principled general-purpose approaches to the selection or construction of such summary statistics. In this paper, we develop a novel framework for this task using kernel-based distribution regression. We model the functional relationship between data distributions and the optimal choice (with respect to a loss function) of summary statistics using kernel-based distribution regression. We show that our approach can be implemented in a computationally and statistically efficient way using the random Fourier features framework for large-scale kernel learning. In addition to that, our framework shows superior performance when compared to related methods on toy and real-world problems.

研究动机与目标

• 为解决近似贝叶斯计算（ABC）中选择信息丰富、问题特定的摘要统计量这一关键挑战，避免因选择不当引入近似偏差。
• 开发一种原理严谨、通用的框架，通过在数据分布上进行函数回归，最小化后验近似误差，从而构建摘要统计量。
• 通过在RKHS框架中利用随机傅里叶特征，实现大规模核学习，提升推断的效率与可扩展性。
• 通过引入完整分布与条件分布回归的变体，适应底层数据依赖结构，以应对多样化数据结构。
• 减少对专家选定候选统计量或启发式方法的依赖，这些方法常导致ABC后验估计中不可量化偏差。

提出的方法

• 该方法在再生核希尔伯特空间（RKHS）中，使用基于核的分布回归建模数据分布与最优摘要统计量之间的函数关系。
• 利用特征核将经验数据分布嵌入RKHS，以保留所有统计信息，确保数据信息无损。
• 应用核岭回归，将均值嵌入的数据分布映射到最优摘要统计量，其中回归函数即作为ABC中的摘要统计量。
• 第二种变体采用条件分布回归，将重要数据分量在辅助分量给定条件下的条件分布进行嵌入，以更准确地建模参数依赖关系。
• 该框架采用随机傅里叶特征，实现计算高效的规模化学习，同时保持统计效率。
• 通过交叉验证选择超参数，确保模型调优具有原则性且可扩展。

实验结果

研究问题

• RQ1 通用框架是否能够在不依赖专家选定候选统计量的前提下，学习到信息丰富、问题特定的ABC摘要统计量？
• RQ2 在RKHS中基于核的分布回归相较于现有半自动或启发式方法，如何提升后验近似精度？
• RQ3 当仅部分数据分量影响感兴趣参数时，条件分布回归在多大程度上能捕捉到相关数据结构？
• RQ4 所提出方法在不同数据类型和模型复杂度下，其计算效率与统计性能如何实现可扩展？
• RQ5 该框架是否可通过适当的核定义，扩展至遗传序列、系统发育树或图等结构化数据类型？

主要发现

• DR-ABC在所有测试案例中显著优于SA-ABC和K2-ABC，某些场景下均方误差（MSE）降低达两个数量级。
• 条件DR-ABC在所有测试情境中均持续优于K2-ABC，尤其在ABC粒子数较多时，误差呈现明显下降趋势。
• 完整DR-ABC与K2-ABC表现相当，甚至在某些情况下更优，展现出在多样化数据结构下的鲁棒性。
• 在Lotka-Volterra模型中表现优异，而SA-ABC因时间序列数据中高相关性导致回归病态而失效。
• 随机傅里叶特征的使用实现了高效的规模化实现，使该框架在复杂数据的真实世界应用中具备实用性。
• 交叉验证实现了原则化的超参数选择，且通过适当的核设计，该框架可扩展至字符串、图和系统发育树等结构化数据类型。