[论文解读] Efficient Amortised Bayesian Inference for Hierarchical and Nonlinear Dynamical Systems

Geoffrey Roeder, Paul K. Grant+3 more|arXiv (Cornell University)|May 28, 2019

Gaussian Processes and Bayesian Inference被引用 10

一句话总结

该论文提出VI-HDS，一种基于可微分ODE和分块条件变分自编码器的可扩展、压缩的贝叶斯推断框架，用于分层非线性动力系统。通过结合白盒机理模型与黑盒神经网络，该方法在多个生物装置上实现了快速、精确的推断，支持零样本泛化，相较于MCMC方法具备更优的可扩展性，同时保持了可解释性与预测准确性。

ABSTRACT

We introduce a flexible, scalable Bayesian inference framework for nonlinear dynamical systems characterised by distinct and hierarchical variability at the individual, group, and population levels. Our model class is a generalisation of nonlinear mixed-effects (NLME) dynamical systems, the statistical workhorse for many experimental sciences. We cast parameter inference as stochastic optimisation of an end-to-end differentiable, block-conditional variational autoencoder. We specify the dynamics of the data-generating process as an ordinary differential equation (ODE) such that both the ODE and its solver are fully differentiable. This model class is highly flexible: the ODE right-hand sides can be a mixture of user-prescribed or "white-box" sub-components and neural network or "black-box" sub-components. Using stochastic optimisation, our amortised inference algorithm could seamlessly scale up to massive data collection pipelines (common in labs with robotic automation). Finally, our framework supports interpretability with respect to the underlying dynamics, as well as predictive generalization to unseen combinations of group components (also called "zero-shot" learning). We empirically validate our method by predicting the dynamic behaviour of bacteria that were genetically engineered to function as biosensors. Our implementation of the framework, the dataset, and all code to reproduce the experimental results is available at https://www.github.com/Microsoft/vi-hds .

研究动机与目标

• 解决传统MCMC方法在高通量生物实验中推断基于非线性ODE的动力系统参数时计算效率低下的问题。
• 开发一种可扩展的压缩推断框架，支持动力系统中个体、群体和种群层面的分层可变性。
• 通过利用模型中的组合结构，实现对未见群体组成的零样本泛化。
• 结合可解释的机理（白盒）动力学与灵活的黑盒神经网络组件，以提升模型拟合度与鲁棒性。
• 通过统一的可微分推断框架，支持在多个竞争机理假设之间实现快速闭环迭代。

提出的方法

• 该框架采用具有分块条件因子化的条件变分自编码器（CVAE），以建模个体、群体和种群层级的分层潜在变量。
• 数据生成过程由一个完全可微分的ODE定义，其右侧由用户指定的方程（白盒）与神经网络（黑盒）共同构成。
• 通过随机优化变分下界（ELBO）进行推断，利用反向模式自动微分实现通过ODE求解器的端到端反向传播。
• 压缩推断通过在相似系统间共享推理网络，实现在大规模数据集上的快速后验近似。
• 该模型支持多个装置和信号的联合学习，实现统计强度的迁移，提升泛化能力。
• 在黑盒模型中施加合理性约束，如非负状态变量和独立的生成/降解项，以确保生物学可解释性。

实验结果

研究问题

• RQ1 在可微分、分块条件化的变分自编码器上进行压缩变分推断，能否实现对分层非线性动力系统的可扩展且精确的推断？
• RQ2 结合白盒ODE与黑盒神经网络的混合模型，能否在保持可解释性的同时提升预测准确性？
• RQ3 该模型在合成生物学应用中，对未见群体组成（零样本学习）的泛化能力在多大程度上得以实现？
• RQ4 与传统MCMC方法相比，该框架在自动化实验室产生的大规模高通量数据集上的可扩展性如何？
• RQ5 多个装置的联合推断能否提升预测性能与模型鲁棒性？

主要发现

• VI-HDS框架在预测准确性上与最先进的MCMC方法相当，但训练时间显著更短，支持在大规模数据集上实现可扩展推断。
• 黑盒模型准确预测了YFP对C12处理的非单调响应，而白盒模型在最终时间点表现出不精确的预测，表明模型设定存在偏差。
• 成功展示了对保留设备的零样本泛化，黑盒模型准确预测了此前未见的R33-S34设备的响应。
• 该模型实现了白盒与黑盒动力学的快速比较，揭示白盒模型在[YFP]和[CFP]中表现出比黑盒模型更显著的瞬态波动。
• 多个设备的联合推断提升了预测性能，并为任何预设模型提供了可实现准确性的上限。
• 该框架通过支持基于梯度的模型结构与参数优化，实现了高效的闭环模型迭代，促进了合成生物学中的主动学习。