[论文解读] JANA: Jointly Amortized Neural Approximation of Complex Bayesian Models

Stefan T. Radev, Marvin Schmitt+4 more|arXiv (Cornell University)|Feb 17, 2023

Gaussian Processes and Bayesian Inference被引用 6

一句话总结

JANA 提出了一种联合神经架构，通过三个端到端训练的网络——摘要网络、后验网络和似然网络——同时学习复杂贝叶斯模型的近似后验推断和似然近似。该方法在相同的模拟预算下，实现了高效且精确的边缘似然估计和后验预测分布估计，是贝叶斯模型比较与验证的关键组成部分，其性能优于或匹配现有顺序方法。

ABSTRACT

This work proposes ``jointly amortized neural approximation'' (JANA) of intractable likelihood functions and posterior densities arising in Bayesian surrogate modeling and simulation-based inference. We train three complementary networks in an end-to-end fashion: 1) a summary network to compress individual data points, sets, or time series into informative embedding vectors; 2) a posterior network to learn an amortized approximate posterior; and 3) a likelihood network to learn an amortized approximate likelihood. Their interaction opens a new route to amortized marginal likelihood and posterior predictive estimation -- two important ingredients of Bayesian workflows that are often too expensive for standard methods. We benchmark the fidelity of JANA on a variety of simulation models against state-of-the-art Bayesian methods and propose a powerful and interpretable diagnostic for joint calibration. In addition, we investigate the ability of recurrent likelihood networks to emulate complex time series models without resorting to hand-crafted summary statistics.

研究动机与目标

• 弥合现有方法中代理建模与基于模拟的推断被分开处理的空白。
• 在具有不可求解积分的复杂模型中，实现后验分布和似然函数的高效、摊销化估计。
• 提供一个统一框架，用于计算边缘似然和后验预测分布，无需马尔可夫链蒙特卡洛（MCMC）或昂贵的重新拟合。
• 开发一种诊断工具，用于贝叶斯推断中神经网络的联合校准。
• 展示循环似然网络在无需手工设计摘要统计量的情况下，有效模拟时间序列模型的能力。

提出的方法

• 训练摘要网络，将输入数据（如时间序列、集合）压缩为信息丰富的嵌入向量。
• 训练后验网络，学习模型参数上的摊销近似后验分布。
• 训练似然网络，学习新数据点的摊销近似似然函数。
• 利用概率变量变换公式，从似然网络高效计算边缘似然。
• 通过结合后验网络和似然网络，实现新数据的后验预测估计。
• 在端到端训练方案中集成三个网络，联合优化所有组件。

Figure 1 : A conceptual illustration of our method for jointly amortized neural approximation (JANA). On the one hand, the summary and posterior network can perform amortized posterior estimation and detect model misspecification. On the other hand, the likelihood network can perform amortized likel

实验结果

研究问题

• RQ1 单一神经架构能否在复杂贝叶斯模型中同时近似后验分布和似然分布？
• RQ2 在相同的模拟预算下，联合摊销学习是否优于或匹配顺序推断方法（如 ABC-SMC、SNL）？
• RQ3 循环似然网络能否在无需手工设计摘要统计量的情况下，有效模拟复杂时间序列模型？
• RQ4 联合网络架构能否支持高效且精确的边缘似然估计，以实现模型比较？
• RQ5 统一诊断能否以一种原理清晰且可解释的方式，评估后验和似然网络的联合校准？

主要发现

• 在相同的模拟预算下，JANA 的性能与 ABC-SMC、SNL 和 SNPE 等顺序推断方法相当或更优。
• 联合架构通过变量变换公式实现了高效的边缘似然估计，支持先验预测的模型选择。
• 后验预测分布可快速且准确地计算，无需 MCMC 或重新拟合，从而支持强大的验证流程。
• 循环似然网络在无需依赖手工设计摘要统计量的情况下，成功模拟了复杂时间序列模型。
• 所提出的联合校准诊断提供了一种灵敏且可解释的方法，用于检测后验和似然网络中的模型误设。
• 结果挑战了摊销推断是浪费的假设，表明深度网络从广泛的模拟范围中受益，可提升局部精度。

Figure 2 : Recurrent likelihood networks can emulate complex Bayesian stochastic differential equation models of disease outbreaks (see Experiment 4 ).The top and bottom row each depict $1\,000$ simulations (same $\boldsymbol{\theta}$ ) from the surrogate and the actual simulator, respectively.