[論文レビュー] Novel Deep neural networks for solving Bayesian statistical inverse

Harbir Antil, Howard C. Elman+2 more|arXiv (Cornell University)|Feb 8, 2021

Model Reduction and Neural Networks参考文献 44被引用数 6

ひとこと要約

本稿では、大規模な偏微分方程式（PDE）に支配されるベイズ逆問題におけるマルコフ連鎖モンテカルロ（MCMC）法の高速化を目的として、分数型深層ニューラルネットワーク（fDNN）スレーブモデルを提案する。PDEの解作用素を連続的な分数型常微分方程式（FODE）に基づくDNNとしてモデル化することで、非侵襲的かつ高精度な前向き計算が可能となり、MCMCの計算時間を最大90％まで短縮する一方で、事後分布の精度を維持する。

ABSTRACT

We consider the simulation of Bayesian statistical inverse problems governed by large-scale linear and nonlinear partial differential equations (PDEs). Markov chain Monte Carlo (MCMC) algorithms are standard techniques to solve such problems. However, MCMC techniques are computationally challenging as they require several thousands of forward PDE solves. The goal of this paper is to introduce a fractional deep neural network based approach for the forward solves within an MCMC routine. Moreover, we discuss some approximation error estimates and illustrate the efficiency of our approach via several numerical examples.

研究の動機と目的

• 大規模なPDEに支配されるベイズ逆問題におけるMCMC法の高い計算コストを軽減すること。
• MCMCルーチン内の高価な前向きPDE計算を置き換える非侵襲的スレーブモデルを開発すること。
• 非線形PDEにおけるパラメータから解への作用素の近似を改善するために、分数型深層ニューラルネットワーク（fDNN）を活用すること。
• fDNNベースのスレーブモデルが、計算時間を大幅に削減しながらも高い事後分布の精度を維持することを実証すること。

提案手法

• fDNNは、分数型常微分方程式（FODE）に従う連続的ダイナミカルシステムとして定式化され、すべての層に接続性が保たれ、履歴勾配および入力へのアクセスが可能となる。
• ネットワークは、逆問題のための900組のパラメータ-解ペアからなるデータセットをラテンハイパーボリュームサンプリングで生成し、教師あり学習で訓練される。
• fDNNは前向きPDE解作用素を近似し、pCN、∞-MALA、∞-HMCなどのMCMCアルゴリズム内での完全順序PDE計算を置き換える。
• 本手法は非侵襲的であり、コード変更なしに従来のPDEソルバーを再利用可能であるのに対し、侵襲的ローダーモデルとは対照的である。
• fDNNスレーブの収束性と安定性を裏付けるために、近似誤差の見積もりが導出される。
• fDNNはMCMCフレームワーク内に適用され、オンライン計算コストを削減するためにスレーブを用いて事後統計が計算される。

実験結果

リサーチクエスチョン

• RQ1 分数型深層ニューラルネットワークは、ベイズ逆問題における前向きPDE計算の正確かつ効率的なスレーブとして機能できるか？
• RQ2 fDNNベースのMCMC手法は、完全順序PDE計算と比較して、受容率および事後分布の精度においてどの程度の差異を示すか？
• RQ3 fDNNは、高次元逆問題におけるMCMCサンプリングにおいて、計算時間をどの程度短縮できるか？
• RQ4 連続的分数型ODEに基づくfDNNのアーキテクチャは、標準的なDNNと比較して一般化性能および訓練安定性をどのように向上させるか？
• RQ5 計算コストを削減したにもかかわらず、fDNNスレーブは真の事後分布と統計的に一貫性を保っているか？

主な発見

• fDNNスレーブは、完全順序PDE計算と比較してMCMCの計算時間を約90％短縮した。CPU時間はpCNで157.8秒から16.46秒に低下した。
• fDNNを用いたMCMC手法の受容率（pCN: 0.67、∞-MALA: 0.67、∞-HMC: 0.79）は、完全順序PDEを用いた場合（pCN: 0.66、∞-MALA: 0.70、∞-HMC: 0.75）とほぼ同一であり、統計的バイアスが最小限であることが示された。
• fDNNのトレーニングおよびデータ生成に要したオフラインコストは99.7秒であったが、これに対してMCMCシミュレーションにおけるオンラインコストの大幅な削減が得られた。
• 100パラメータの逆問題において、fDNNは真の導電率場を高い精度で再構築でき、事後平均推定値が真値に非常に近い結果を得た。
• 本手法は非侵襲的であり、コード変更なしに従来のPDEソルバーと直接統合可能である。これに対して、侵襲的ローダーモデルとは対照的である。
• fDNNの連続的分数型ODE形式により、アーキテクチャに依存しない最適化と、層間における情報の流れの向上が実現された。