[論文レビュー] BayesFlow: Learning complex stochastic models with invertible neural networks

Stefan T. Radev, Ulf K. Mertens+3 more|arXiv (Cornell University)|Mar 13, 2020

Gaussian Processes and Bayesian Inference被引用数 10

ひとこと要約

BayesFlowは、可逆ニューラルネットワークを用いて、シミュレーションデータからモデルパラメータの事後分布を学習するグローバルなアンモタイズドベイジアン推論手法を提案する。この手法により、明示的な尤度関数が不要な状況でも、高速かつスケーラブルかつ高精度なパrameter推定が可能になる。本手法は、学習可能な要約ネットワークとノーマライジングフローを組み合わせ、データからパラメータへとマッピングすることで、生態学、疫学、認知科学分野の不確実性の高いモデルにおいて最先端の性能を達成した。

ABSTRACT

Estimating the parameters of mathematical models is a common problem in almost all branches of science. However, this problem can prove notably difficult when processes and model descriptions become increasingly complex and an explicit likelihood function is not available. With this work, we propose a novel method for globally amortized Bayesian inference based on invertible neural networks which we call BayesFlow. The method uses simulation to learn a global estimator for the probabilistic mapping from observed data to underlying model parameters. A neural network pre-trained in this way can then, without additional training or optimization, infer full posteriors on arbitrary many real datasets involving the same model family. In addition, our method incorporates a summary network trained to embed the observed data into maximally informative summary statistics. Learning summary statistics from data makes the method applicable to modeling scenarios where standard inference techniques with hand-crafted summary statistics fail. We demonstrate the utility of BayesFlow on challenging intractable models from population dynamics, epidemiology, cognitive science and ecology. We argue that BayesFlow provides a general framework for building amortized Bayesian parameter estimation machines for any forward model from which data can be simulated.

研究の動機と目的

• 尤度関数が不確実または利用できないモデルにおけるベイジアンパラメータ推定の課題に対処すること。
• 各データセットに対して個別にMCMCやABCサンプリングを実行する必要のない、グローバルなアンモタイズド推論フレームワークを構築すること。
• ニューラルネットワークを用いて、データ駆動型の情報量豊富な要約統計量を学習し、手作業による統計量よりも性能を向上させること。
• 一度の事前学習で複数のデータセットに対して効率的でスケーラブルかつGPUアクセceleratedな推論を可能にする、単一の事前学習済みモデルを提供すること。
• 前向きモデルが複雑な多様な科学的分野に適用可能な汎用フレームワークを提供すること。

提案手法

• 可逆ニューラルネットワーク（ノーマライジングフロー）を用いて、シミュレーションデータペア (x, θ) から共通事後分布 p(θ|x) を学習する。
• 高次元のデータ x を低次元の情報豊富な要約統計量 s(x) に埋め込む学習可能な要約ネットワークを導入し、推論に必要な情報を保持する。
• 観測データの尤度を学習事後分布のもとで最大化する変分推論の目的関数を用いて、BayesFlowアーキテクチャ全体をエンドツーエンドで訓練する。
• ノーマライジングフローに基づく推論ネットワークを用いて、事後分布 p(θ|x) を事前分布 p(z) からの変換としてモデル化し、z ~ N(0, I) とする。これにより、正確な密度推定とサンプリングが可能になる。
• ニューラルネットワークの可逆性を活用して、事後分布推定と尤度フリーなシミュレーションの両方を実現し、双方向モデリングを可能にする。
• 微分可能なシミュレーションパイプラインを用いて、前向きモデル g(θ, ξ) を通じて勾配を逆伝播可能とし、要約ネットワークと推論ネットワークの共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 可逆ニューラルネットワークは、標準的なABC手法が失敗する尤度フリーな設定において、グローバルなアンモタイズドベイジアン推論を可能にするか？
• RQ2 学習可能な要約ネットワークは、高次元または複雑なデータ環境下で、手作業による統計量を上回る性能を示すか？
• RQ3 BayesFlowは、再訓練なしに同じモデルファミリーに属する複数のデータセットにどれほど一般化できるか？
• RQ4 人口動態、疫学、認知科学分野の実世界の不確実性の高いモデルにおいて、BayesFlowはどの程度の性能を示すか？
• RQ5 ネットワークアーキテクチャの深さや設計は、事後分布のキャリブレーションと推論精度にどのような影響を与えるか？

主な発見

• BayesFlowは、人口動態、疫学、認知科学、生態学分野の複雑で不確実性の高いモデルにおいて、標準的なABCやニューラル密度推定のベースラインを上回る正確な事後分布推定を達成した。
• 本手法はグローバルなアンモタイズド推論を実現する：一度訓練が完了すれば、同じモデルファミリーに属する任意の新しいデータセットに対して、追加の訓練や最適化なしに全事後分布を推定できる。
• 学習された要約統計量は、特に高次元または複雑なデータ環境下では、手作業による統計量よりも顕著に推論性能を向上させた。
• 本手法は並列処理に強く、GPUアクセcelerationの恩恵を大きく受け、従来の個別処理ベースの手法と比較して、推論が桁違いに高速になった。
• 適切に訓練された場合、本手法はキャリブレートされた事後分布推定を提供し、完全収束下では理論的保証も有する。
• 実証的検証では、デフォルトのハイパーパramータと中程度のネットワーク深さ（5〜10段のカップリング層）が、比較的単純なアーキテクチャでも多様なモデルに対して強力な性能を発揮することが示された。