[論文レビュー] Efficient Amortised Bayesian Inference for Hierarchical and Nonlinear Dynamical Systems

Geoffrey Roeder, Paul K. Grant+3 more|arXiv (Cornell University)|May 28, 2019

Gaussian Processes and Bayesian Inference被引用数 10

ひとこと要約

本論文は、微分可能なODEとブロック条件付き変分オートエンコーダーを用いて、階層的かつ非線形な力学系のスケーラブルでアモアタイズドなベイズ推論フレームワークであるVI-HDSを提案する。白ボックスの機械的モデルとブラックボックスのニューラルネットワークを組み合わせることで、複数の生物学的デバイスにわたる高速かつ高精度な推論を可能にし、MCMC法に比べて優れたスケーラビリティを実現しながら解釈可能性と予測精度を維持する。ゼロショット一般化を達成する。

ABSTRACT

We introduce a flexible, scalable Bayesian inference framework for nonlinear dynamical systems characterised by distinct and hierarchical variability at the individual, group, and population levels. Our model class is a generalisation of nonlinear mixed-effects (NLME) dynamical systems, the statistical workhorse for many experimental sciences. We cast parameter inference as stochastic optimisation of an end-to-end differentiable, block-conditional variational autoencoder. We specify the dynamics of the data-generating process as an ordinary differential equation (ODE) such that both the ODE and its solver are fully differentiable. This model class is highly flexible: the ODE right-hand sides can be a mixture of user-prescribed or "white-box" sub-components and neural network or "black-box" sub-components. Using stochastic optimisation, our amortised inference algorithm could seamlessly scale up to massive data collection pipelines (common in labs with robotic automation). Finally, our framework supports interpretability with respect to the underlying dynamics, as well as predictive generalization to unseen combinations of group components (also called "zero-shot" learning). We empirically validate our method by predicting the dynamic behaviour of bacteria that were genetically engineered to function as biosensors. Our implementation of the framework, the dataset, and all code to reproduce the experimental results is available at https://www.github.com/Microsoft/vi-hds .

研究の動機と目的

• 高スルーレートの生物学的実験における非線形ODEベースの力学系のパラメータ推定において、従来のMCMC手法の計算非効率性を解消すること。
• 個々の個体、グループ、集団の階層的ばらつきを扱えるスケーラブルでアモアタイズドな推論フレームワークを構築すること。
• モデルの構成的構造を活用することで、未観測のグループ構成へのゼロショット一般化を可能にすること。
• 解釈可能な機械的（ホワイトボックス）ダイナミクスと柔軟なブラックボックスニューラルネットワーク部品を組み合わせることで、モデルの適合性と耐性を向上させること。
• 統一的で微分可能な推論フレームワークを用いて、競合する機械的仮説間の迅速なクローズドループ反復を可能にすること。

提案手法

• 個体、グループ、集団レベルの階層的潜在変数をモデル化するために、ブロック条件付き因子化を施した条件付き変分オートエンコーダー（CVAE）を採用する。
• データ生成プロセスは、完全に微分可能なODEで定義され、右辺にはユーザーが指定した方程式（ホワイトボックス）とニューラルネットワーク（ブラックボックス）の両方が含まれる。
• 推論は、変分下界（ELBO）の確率的最適化により実行され、ODEソルバーを経由するエンドツーエンドのバックプロパゲーションにリバースモードの自動微分を活用する。
• アモアタイズド推論により、類似したシステム間で推論ネットワークを共有することで、大規模データセットにおける後方分布の高速近似が可能になる。
• 複数のデバイスと信号の同時学習が可能であり、統計的強度の転送と一般化の向上が実現される。
• 生物学的解釈可能性を確保するため、ブラックボックスモデルに妥当性制約を課す。具体的には、非負の状態変数や、生成・分解の項を別々に扱うなどの制約を導入する。

実験結果

リサーチクエスチョン

• RQ1 微分可能でブロック条件付きのVAEにおけるアモアタイズド変分推論は、階層的非線形力学系に対してスケーラブルかつ高精度な推論を達成できるか？
• RQ2 ホワイトボックスODEとブラックボックスニューラルネットワークをハイブリッドに組み合わせることで、予測精度を向上させつつ解釈可能性を維持できるか？
• RQ3 合成生物学の応用において、未観測のグループ構成（ゼロショット学習）への一般化はどの程度達成できるか？
• RQ4 自動ラボから得られる大規模で高スルーレートのデータセットに対して、従来のMCMC手法と比較して、このフレームワークはどの程度スケーリングするか？
• RQ5 複数のデバイスの共同推論は、予測性能とモデルの耐性を向上させるか？

主な発見

• VI-HDSフレームワークは、最先端のMCMC手法と同等の予測精度を達成するが、著しく短いトレーニング時間で実現され、大規模データセットにおけるスケーラブルな推論が可能になる。
• ブラックボックスモデルはC12処理に対する非単調なYFP応答を正確に予測するが、ホワイトボックスモデルは最終時刻での予測が不正確で、モデルの誤指定が示唆される。
• 未観測のデバイス（R33-S34）へのゼロショット一般化が成功裏に実証され、ブラックボックスモデルが以前に観測されていなかったデバイスの応答を正確に予測した。
• ホワイトボックスとブラックボックスダイナミクスの迅速な比較が可能となり、ホワイトボックスモデルが[YFP]および[CFP]の過渡的変動をブラックボックスモデルよりも顕著に示すことが明らかになった。
• 複数デバイスの共同推論により予測性能が向上し、任意の指定されたモデルにおける達成可能な精度の上限を示す上界が得られた。
• 勾配ベースの最適化によりモデル構造とパラメータの最適化が可能となり、合成生物学におけるアクティブラーニングを支援する効率的なクローズドループモデル反復が実現された。