[论文解读] Bayesian Learning of Conditional Kernel Mean Embeddings for Automatic Likelihood-Free Inference

Kelvin Hsu, Fábio Ramos|arXiv (Cornell University)|Mar 3, 2019

Machine Learning and Algorithms被引用 4

一句话总结

本文提出了核嵌入似然无关推断（KELFI），一种贝叶斯框架，通过条件核均值嵌入自动学习近似贝叶斯计算（ABC）的超参数。通过在再生核希尔伯特空间中非参数地近似似然函数和后验分布，KELFI 实现了后验均值嵌入的闭式采样，提升了在有限模拟预算下的推断准确性和效率，尤其在具有挑战性的生态模型中表现优异。

ABSTRACT

In likelihood-free settings where likelihood evaluations are intractable, approximate Bayesian computation (ABC) addresses the formidable inference task to discover plausible parameters of simulation programs that explain the observations. However, they demand large quantities of simulation calls. Critically, hyperparameters that determine measures of simulation discrepancy crucially balance inference accuracy and sample efficiency, yet are difficult to tune. In this paper, we present kernel embedding likelihood-free inference (KELFI), a holistic framework that automatically learns model hyperparameters to improve inference accuracy given limited simulation budget. By leveraging likelihood smoothness with conditional mean embeddings, we nonparametrically approximate likelihoods and posteriors as surrogate densities and sample from closed-form posterior mean embeddings, whose hyperparameters are learned under its approximate marginal likelihood. Our modular framework demonstrates improved accuracy and efficiency on challenging inference problems in ecology.

研究动机与目标

• 为解决在生态学等模拟密集型领域中似然无关推断的超参数敏感性问题。
• 通过自动学习减少对差异阈值（如 ε）的人工调参依赖。
• 仅通过有限次模拟器调用，实现准确的后验近似与采样。
• 提供一种模块化、非参数化的框架，将推断与模拟调用解耦。
• 将方法扩展至自动评估摘要统计量在推断流程中的相关性。

提出的方法

• KELFI 使用再生核希尔伯特空间（RKHS）中的条件均值嵌入（CME）从模拟器输出中非参数地近似似然函数。
• 通过基于 CME 近似的闭式后验均值嵌入，将后验建模为代理密度。
• 在贝叶斯学习目标下，通过边缘似然最大化学习超参数，包括 ABC 容差 ε。
• 通过基于核的特征选择，支持摘要统计量的自动相关性学习。
• 通过归一化流变换将一般先验映射为标准高斯先验，从而在高斯核下实现闭式解。
• 该方法可在任意次模拟后进行后验推断与采样，实现推断与模拟调用的解耦。

实验结果

研究问题

• RQ1 是否可以自动学习 ABC 中的超参数，以在无需人工调参的情况下提高推断准确性？
• RQ2 条件核均值嵌入是否能为似然无关推断中不可计算的似然函数提供准确的非参数代理？
• RQ3 在有限模拟预算下，通过边缘似然学习超参数是否能改善后验近似？
• RQ4 该框架能否自动识别并加权最具信息量的摘要统计量？
• RQ5 在复杂生态模型中，KELFI 与标准 ABC 方法相比，在准确性和采样效率方面表现如何？

主要发现

• KELFI 通过直接为推断任务学习超参数（包括基于模拟次数的自适应 ε 调整），显著提升了标准 ABC 方法的推断准确性。
• 该方法仅通过少量模拟器调用即可实现准确的后验近似，展现出极高的样本效率。
• 闭式后验均值嵌入使无需马尔可夫链蒙特卡洛的快速采样成为可能，显著降低了计算开销。
• 该框架成功识别并加权了相关摘要统计量，提升了模型拟合度并降低了维度。
• 在生态模型上的实证结果表明，KELFI 在后验估计准确性和收敛速度方面均优于基线 ABC 方法。
• 通过归一化流将非高斯先验转换为高斯先验，实现了闭式解，同时保持了推断的完整性。