[論文レビュー] Bayesian Neural Ordinary Differential Equations

Raj Dandekar, Chung, Karen+5 more|arXiv (Cornell University)|Dec 14, 2020

Model Reduction and Neural Networks参考文献 36被引用数 16

ひとこと要約

本稿では、NUTS、SGHMC、SGLDを用いたベイズ推論を統合することで、ニューラルODEにおけるエピステミック・アンノウンの特定を可能にするベイジアン・ニューラル常微分方程式（Bayesian NODEs）を提案する。MNISTでは98.5%のテスト精度を達成し、ベイジアン・ユニバーサルODEを用いて力学系における欠落項の確率的同定を実証し、不確実性を伴う科学的機械学習を可能にする。

ABSTRACT

Recently, Neural Ordinary Differential Equations has emerged as a powerful framework for modeling physical simulations without explicitly defining the ODEs governing the system, but instead learning them via machine learning. However, the question: "Can Bayesian learning frameworks be integrated with Neural ODE's to robustly quantify the uncertainty in the weights of a Neural ODE?" remains unanswered. In an effort to address this question, we primarily evaluate the following categories of inference methods: (a) The No-U-Turn MCMC sampler (NUTS), (b) Stochastic Gradient Hamiltonian Monte Carlo (SGHMC) and (c) Stochastic Langevin Gradient Descent (SGLD). We demonstrate the successful integration of Neural ODEs with the above Bayesian inference frameworks on classical physical systems, as well as on standard machine learning datasets like MNIST, using GPU acceleration. On the MNIST dataset, we achieve a posterior sample accuracy of 98.5% on the test ensemble of 10,000 images. Subsequently, for the first time, we demonstrate the successful integration of variational inference with normalizing flows and Neural ODEs, leading to a powerful Bayesian Neural ODE object. Finally, considering a predator-prey model and an epidemiological system, we demonstrate the probabilistic identification of model specification in partially-described dynamical systems using universal ordinary differential equations. Together, this gives a scientific machine learning tool for probabilistic estimation of epistemic uncertainties.

研究の動機と目的

• ニューラルODEとベイズ学習フレームワークを統合することで、モデル重みの不確実性を堅牢に定量化できるか、という未解決の問いに応えること。
• 物理的システムおよび機械学習データセットの両方において、3つのベイズ推論手法（NUTS、SGHMC、SGLD）の性能を評価・比較すること。
• 変分推論とノーマライジングフロー、ニューラルODEの統合を画期的に実現し、予測性能と不確実性推定を向上させること。
• ベイジアン・ユニバーサルODE（UDE）を用いて、部分的に記述された力学系における欠落項の確率的回復を実証すること。
• 物理的シミュレーションおよび大規模ディープラーニングタスクの両方において、エピステミック不確実性を定量化できる科学的機械学習フレームワークを提供すること。

提案手法

• 微分方程式ソルバー（DifferentialEquations.jl）と確率的プログラミング言語Turing.jlをシームレスに統合できるJuliaの微分可能プログラミングスタックを用いる。
• 3つのベイズ推論手法（NUTS、SGHMC、SGLD）を適用し、ニューラルODEの重みに関する事後分布を推定する。
• 畳み込み層とニューラルODEを組み合わせた新規アーキテクチャを提案し、SGHMCによる学習で画像分類性能を向上させる。
• ノーマライジングフローを用いた変分推論を導入し、ベイジアン・ニューラルODEにおける複雑な事後分布の近似を実現し、表現力と予測精度を向上させる。
• 前処理を施したSGLD（PSGLD）をベイジアン・ユニバーサルODE（UDE）に適用し、捕食者・被捕食者モデルやSIR型疫学的モデルなどの力学系における欠落項の同定を実現する。
• GPUアクセcelerationと自動微分を活用し、MNISTのような大規模データセットおよび複雑な物理的システムへのベイズ推論のスケーリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 ベイズ推論フレームワークをニューラルODEに統合することで、モデル重みの不確実性を定量化できるか？
• RQ2 ニューラルODEに適用した場合、NUTS、SGHMC、SGLDの間で、予測精度、収束性、バイアスの観点からどのように比較できるか？
• RQ3 ノーマライジングフローを用いた変分推論は、ベイジアン・ニューラルODEの性能と不確実性推定を向上させられるか？
• RQ4 ベイジアンUDEは、捕食者・被捕食者モデルや疫学的モデルのような部分的に記述された力学系において、欠落項を堅牢に同定できるか？
• RQ5 標準ベンチマーク（MNISTなど）において、提案されたベイジアン・ニューラルODEフレームワークは、最先端手法と比較して性能および不確実性定量化の点で優れているか？

主な発見

• ベイジアン・ニューラルODEフレームワークは、SGLDサンプリングを用いてMNISTデータセットで98.5%のテストアンサンブル精度を達成し、最先端手法と同等の性能を示した。
• 畳み込み層と組み合わせたSGHMCベースのベイジアン・ニューラルODEは、テストアンサンブル精度99.22%を達成し、MAP推定を上回り、バイアスも低減した。
• ベイジアン・ニューラルODEにおける変分推論とノーマライジングフローの統合により、物理的システムにおける予測性能の向上と正確な不確実性定量化が実現された。
• ベイジアンUDEは、捕食者・被捕食者モデルおよびSIR型疫学的モデルの両方で欠落項を正常に回復し、事後サンプルが時間的・空間的変動と関連する不確実性を的確に捉えていた。
• NUTSサンプラーは、MAP推定点が低確率領域にあるマルチモーダルな尤度の影響を受けて、SGLDに比べて高いバイアスを示した。
• 本フレームワークは、部分的に観測された力学系におけるモデル構造の確率的同定を可能にし、不確実性定量化を備えた科学的機械学習のための新たなツールを提供する。