[论文解读] Bayesian Neural Ordinary Differential Equations

Raj Dandekar, Chung, Karen+5 more|arXiv (Cornell University)|Dec 14, 2020

Model Reduction and Neural Networks参考文献 36被引用 16

一句话总结

本文提出了贝叶斯神经常微分方程（Bayesian NODEs），通过NUTS、SGHMC和SGLD实现贝叶斯推断，以量化神经ODE中的认知不确定性。在MNIST数据集上实现了98.5%的测试准确率，并利用贝叶斯通用ODE（UDEs）实现了对动力系统中缺失项的概率发现，从而支持具备不确定性感知的科学机器学习。

ABSTRACT

Recently, Neural Ordinary Differential Equations has emerged as a powerful framework for modeling physical simulations without explicitly defining the ODEs governing the system, but instead learning them via machine learning. However, the question: "Can Bayesian learning frameworks be integrated with Neural ODE's to robustly quantify the uncertainty in the weights of a Neural ODE?" remains unanswered. In an effort to address this question, we primarily evaluate the following categories of inference methods: (a) The No-U-Turn MCMC sampler (NUTS), (b) Stochastic Gradient Hamiltonian Monte Carlo (SGHMC) and (c) Stochastic Langevin Gradient Descent (SGLD). We demonstrate the successful integration of Neural ODEs with the above Bayesian inference frameworks on classical physical systems, as well as on standard machine learning datasets like MNIST, using GPU acceleration. On the MNIST dataset, we achieve a posterior sample accuracy of 98.5% on the test ensemble of 10,000 images. Subsequently, for the first time, we demonstrate the successful integration of variational inference with normalizing flows and Neural ODEs, leading to a powerful Bayesian Neural ODE object. Finally, considering a predator-prey model and an epidemiological system, we demonstrate the probabilistic identification of model specification in partially-described dynamical systems using universal ordinary differential equations. Together, this gives a scientific machine learning tool for probabilistic estimation of epistemic uncertainties.

研究动机与目标

• 解决一个开放性问题：贝叶斯学习框架是否可以与神经ODE集成，以稳健地量化模型权重中的不确定性。
• 评估并比较三种贝叶斯推断方法——NUTS、SGHMC和SGLD——在神经ODE上的性能，涵盖物理系统和机器学习数据集。
• 开创性地将变分推断与归一化流及神经ODE结合，提升预测性能和不确定性估计。
• 通过贝叶斯通用ODE（UDEs）演示对部分指定动力系统中缺失项的概率恢复。
• 提供一个科学机器学习框架，能够同时量化物理模拟和大规模深度学习任务中的认知不确定性。

提出的方法

• 利用Julia的可微编程栈，无缝集成来自DifferentialEquations.jl的微分方程求解器与概率编程语言Turing.jl。
• 应用三种贝叶斯推断方法：无截断采样器（NUTS）、随机梯度哈密顿蒙特卡洛（SGHMC）和随机梯度朗之万动力学（SGLD），以估计神经ODE权重的后验分布。
• 提出一种新型架构，结合卷积层与神经ODE，并通过SGHMC训练，以提升图像分类性能。
• 利用带归一化流的变分推断来近似贝叶斯神经ODE中的复杂后验分布，增强表达能力与预测准确性。
• 将预处理的SGLD（PSGLD）应用于贝叶斯通用ODE（UDEs），用于发现动力系统中的缺失项，如捕食者-猎物模型和SIR模型。
• 利用GPU加速与自动微分，将贝叶斯推断扩展至MNIST等大规模数据集和复杂物理系统。

实验结果

研究问题

• RQ1 贝叶斯推断框架是否可以成功集成到神经ODE中，以量化模型权重的不确定性？
• RQ2 在应用于神经ODE时，NUTS、SGHMC和SGLD在预测准确性、收敛性和偏差方面如何比较？
• RQ3 结合归一化流的变分推断是否能提升贝叶斯神经ODE的性能与不确定性估计？
• RQ4 贝叶斯UDEs是否能稳健识别部分描述的动力系统中的缺失项，如捕食者-猎物模型和流行病学模型？
• RQ5 在标准基准如MNIST上，所提出的贝叶斯神经ODE框架在性能和不确定性量化方面与最先进方法相比如何？

主要发现

• 贝叶斯神经ODE框架在MNIST数据集上使用SGLD采样实现了98.5%的测试集成准确率，与最先进方法相当。
• 结合卷积层后，基于SGHMC的贝叶斯神经ODE实现了99.22%的测试集成准确率，优于MAP估计并降低了偏差。
• 在贝叶斯神经ODE中引入变分推断与归一化流，显著提升了物理系统上的预测性能，并实现了准确的不确定性量化。
• 贝叶斯UDEs成功恢复了捕食者-猎物模型和SIR型流行病学模型中的缺失项，后验样本能够捕捉时间与空间变化及其相关不确定性。
• NUTS采样器相比SGLD表现出更高的偏差，可能是因为后验分布具有多峰性，而MAP点位于低概率区域。
• 该框架实现了对部分观测动力系统中模型结构的概率识别，为具备不确定性量化的科学机器学习提供了新工具。