[论文解读] GATSBI: Generative Adversarial Training for Simulation-Based Inference

Ramesh Poornima, Jan-Matthis Lueckmann+5 more|arXiv (Cornell University)|Mar 12, 2022

Generative Adversarial Networks and Image Synthesis被引用 6

一句话总结

GATSBI 为基于模拟的推断（SBI）引入了一种生成对抗训练框架，可在无需显式似然函数的情况下学习隐式后验分布。通过在对抗设置下重新表述变分推断，GATSBI 实现了可迁移的、高维的后验估计，并支持隐式先验，在浅水动力学和图像去噪模拟器等复杂模型上实现了校准良好的推断。

ABSTRACT

Simulation-based inference (SBI) refers to statistical inference on stochastic models for which we can generate samples, but not compute likelihoods. Like SBI algorithms, generative adversarial networks (GANs) do not require explicit likelihoods. We study the relationship between SBI and GANs, and introduce GATSBI, an adversarial approach to SBI. GATSBI reformulates the variational objective in an adversarial setting to learn implicit posterior distributions. Inference with GATSBI is amortised across observations, works in high-dimensional posterior spaces and supports implicit priors. We evaluate GATSBI on two SBI benchmark problems and on two high-dimensional simulators. On a model for wave propagation on the surface of a shallow water body, we show that GATSBI can return well-calibrated posterior estimates even in high dimensions. On a model of camera optics, it infers a high-dimensional posterior given an implicit prior, and performs better than a state-of-the-art SBI approach. We also show how GATSBI can be extended to perform sequential posterior estimation to focus on individual observations. Overall, GATSBI opens up opportunities for leveraging advances in GANs to perform Bayesian inference on high-dimensional simulation-based models.

研究动机与目标

• 解决在似然函数难以计算的高维后验推断问题，这是基于模拟的推断（SBI）中的挑战。
• 利用生成对抗网络（GAN）的优势，实现无需显式密度评估的无似然推断。
• 在观测之间实现可迁移推断，以提高高维参数空间中的效率。
• 支持隐式先验，使在先验未以解析形式指定的情况下也能进行推断。
• 将框架扩展至序列后验估计，以对单个观测进行推断精炼。

提出的方法

• 使用条件 GAN 架构，将 SBI 问题重新表述为对抗变分推断问题。
• 训练生成器将观测数据映射到后验样本，学习隐式后验分布 $ q_\phi(\theta|x) $。
• 使用判别器区分真实参数 $ \theta $ 和基于观测数据 $ x $ 条件生成的后验样本 $ \theta' $。
• 应用谱归一化和梯度裁剪以稳定 GAN 组件的训练。
• 将 GAN 框架与可迁移推断相结合，实现在无需重新训练的情况下，对新观测实现快速后验采样。
• 通过迭代精炼，将框架扩展至序列后验估计，以对特定观测进行推断精炼。

实验结果

研究问题

• RQ1 对抗训练能否有效适应于高维参数空间中的基于模拟的推断？
• RQ2 当先验为隐式定义时，GATSBI 是否仍能学习到校准良好的后验分布？
• RQ3 在高维设置下，GATSBI 与最先进的 SBI 方法（如基于归一化流的 NPE）相比表现如何？
• RQ4 GATSBI 能否支持序列后验估计，以对单个观测进行推断精炼？
• RQ5 在流体动力学和图像去噪等复杂高维模拟器中，GATSBI 是否能保持校准性和性能？

主要发现

• 在 100 维参数空间的浅水模型上，GATSBI 实现了校准良好的后验估计，证明了其在高维推断中的可扩展性。
• 在具有 784 维图像先验的相机光学模拟器上，GATSBI 成功利用隐式先验推断出高维后验分布，性能优于 NPE。
• GATSBI 在多个基准问题上保持了性能和校准性，其结果与最先进的 SBI 方法（如 NPE）相当。
• 该方法支持可迁移推断，实现在无需重新训练或使用 MCMC 采样的情况下，对新观测实现快速后验采样。
• 通过 GATSBI 实现的序列后验估计可对单个观测进行聚焦精炼，提升特定数据点的后验准确性。
• SBC（球面贝叶斯校准）验证表明，GATSBI 的后验边缘分布呈均匀分布，表明其在各维度上均具有良好的校准性。