[论文解读] BayesFlow: Learning complex stochastic models with invertible neural networks

Stefan T. Radev, Ulf K. Mertens+3 more|arXiv (Cornell University)|Mar 13, 2020

Gaussian Processes and Bayesian Inference被引用 10

一句话总结

BayesFlow 提出了一种基于可逆神经网络的全局摊销贝叶斯推断方法，通过从模拟数据中学习模型参数的后验分布，实现在无需显式似然函数的情况下快速、可扩展且准确的参数估计。该方法结合可学习的摘要网络与归一化流，将数据映射至参数空间，在生态学、流行病学和认知科学等不可解析模型中实现了最先进性能。

ABSTRACT

Estimating the parameters of mathematical models is a common problem in almost all branches of science. However, this problem can prove notably difficult when processes and model descriptions become increasingly complex and an explicit likelihood function is not available. With this work, we propose a novel method for globally amortized Bayesian inference based on invertible neural networks which we call BayesFlow. The method uses simulation to learn a global estimator for the probabilistic mapping from observed data to underlying model parameters. A neural network pre-trained in this way can then, without additional training or optimization, infer full posteriors on arbitrary many real datasets involving the same model family. In addition, our method incorporates a summary network trained to embed the observed data into maximally informative summary statistics. Learning summary statistics from data makes the method applicable to modeling scenarios where standard inference techniques with hand-crafted summary statistics fail. We demonstrate the utility of BayesFlow on challenging intractable models from population dynamics, epidemiology, cognitive science and ecology. We argue that BayesFlow provides a general framework for building amortized Bayesian parameter estimation machines for any forward model from which data can be simulated.

研究动机与目标

• 解决在似然函数不可解析或不可用的模型中进行贝叶斯参数估计的挑战。
• 开发一种全局摊销推断框架，避免对每个数据集分别进行 MCMC 或 ABC 采样。
• 通过神经网络学习信息丰富、数据驱动的摘要统计量，其性能优于手工设计的统计量。
• 利用单一预训练模型实现在多个数据集上的高效、可扩展且支持 GPU 加速的推断。
• 提供一种通用框架，适用于具有复杂前向模型的多样化科学领域。

提出的方法

• 利用可逆神经网络（归一化流）从模拟数据对 (x, θ) 中学习联合后验分布 p(θ|x)。
• 引入可学习的摘要网络，将高维数据 x 映射为低维、信息丰富的摘要统计量 s(x)，同时保留对推断至关重要的信息。
• 通过变分推断目标端到端训练整个 BayesFlow 架构，以最大化观测数据在所学习后验下的似然。
• 使用基于归一化流的推断网络将后验 p(θ|x) 建模为从先验 p(z)（其中 z ~ N(0, I)）的变换，实现精确密度估计与采样。
• 利用神经网络的可逆性实现后验估计与无需似然的模拟双向建模。
• 采用可微分的模拟流水线，使梯度可反向传播通过前向模型 g(θ, ξ)，从而实现摘要网络与推断网络的联合优化。

实验结果

研究问题

• RQ1 可逆神经网络是否能在标准 ABC 方法失效的无需似然设置中实现全局摊销贝叶斯推断？
• RQ2 在复杂、高维数据场景下，可学习的摘要网络是否能超越手工设计的统计量？
• RQ3 BayesFlow 在无需微调的情况下，能在同一模型族的多个数据集上实现多大程度的泛化？
• RQ4 BayesFlow 在来自种群动力学、流行病学和认知科学的真实世界不可解析模型上的表现如何？
• RQ5 网络架构的深度与设计对后验校准与推断精度有何影响？

主要发现

• BayesFlow 在种群动力学、流行病学、认知科学和生态学等复杂、不可解析模型上实现了准确的后验估计，优于标准 ABC 和神经密度估计基线方法。
• 该方法实现了全局摊销推断：一旦训练完成，即可在无需额外训练或优化的情况下，对同一模型族的任意新数据集推断完整后验。
• 学习到的摘要统计量显著提升了推断性能，尤其在高维或复杂数据场景下优势明显。
• 该方法高度可并行化，并受益于 GPU 加速，使推断速度相比传统逐案方法快几个数量级。
• 在正确训练下，该方法可提供校准良好的后验估计，且在完全收敛时具备理论保证。
• 实证验证表明，使用默认超参数与中等网络深度（5–10 个耦合层）即可在多样化模型上实现优异性能，即使架构相对简单。