[論文レビュー] A deep surrogate approach to efficient Bayesian inversion in PDE and integral equation models

Teo Deveney, Eike H. Müller+1 more|arXiv (Cornell University)|Oct 3, 2019

Probabilistic and Robust Engineering Design参考文献 32被引用数 7

ひとこと要約

この論文は、偏微分方程式（PDE）および積分方程式のパラメトリック解を直接近似する深層学習ベースの補間モデルを提案する。このモデルはニューラルネットワークを用いて、マルコフ連鎖モンテカルロ法（MCMC）を用いた効率的なベイズ逆問題を可能にする。従来の有限差分MCMCと比較して、次元の呪いに苦しむ高次元パrameter空間においても、正確さを保ちながら数個のオーダーの高速化を達成する。

ABSTRACT

We investigate a deep learning approach to efficiently perform Bayesian inference in partial differential equation (PDE) and integral equation models over potentially high-dimensional parameter spaces. The contributions of this paper are two-fold; the first is the introduction of a neural network approach to approximating the solutions of Fredholm and Volterra integral equations of the first and second kind. The second is the development of a new, efficient deep learning-based method for Bayesian inversion applied to problems that can be described by PDEs or integral equations. To achieve this we introduce a surrogate model, and demonstrate how this allows efficient sampling from a Bayesian posterior distribution in which the likelihood depends on the solutions of PDEs or integral equations. Our method relies on the direct approximation of parametric solutions by neural networks, without need of traditional numerical solves. This deep learning approach allows the accurate and efficient approximation of parametric solutions in significantly higher dimensions than is possible using classical discretisation schemes. Since the approximated solutions can be cheaply evaluated, the solutions of Bayesian inverse problems over large parameter spaces are efficient using Markov chain Monte Carlo. We demonstrate the performance of our method using two real-world examples; these include Bayesian inference in the PDE and integral equation case for an example from electrochemistry, and Bayesian inference of a function-valued heat-transfer parameter with applications in aviation.

研究の動機と目的

• 高次元パrameter空間におけるパラメトリックPDEおよび積分方程式を、効率的に解く深層学習手法の開発。
• 従来の数値解法を回避する微分可能で解析的補間モデルを構築し、効率的なベイズ推論を可能にする。
• 従来の方法では反復的前向き計算が計算的に不可能となる高次元パrameter空間におけるベイズ逆問題の次元の呪いを克服する。
• 標準的な深層学習最小化では信頼区間の推定ができないのに対し、不適切な逆問題において正確な不確実性評価と正則化を提供する。
• PDEに限定されない神経ネットワークベースの解法を、第一種および第二種のFredholmおよびVolterra型積分方程式へと拡張する。

提案手法

• 二重のニューラルネットワークアーキテクチャを用いる：一つは積分方程式の解を近似し、もう一つは積分項を近似する。両者は同時に訓練される。
• 方程式の残差誤差、データ適合性、境界条件・初期条件の満足度を組み合わせた複合損失関数を最小化する。
• 補間モデルは全パラメータ空間にわたり訓練され、再計算なしに任意のパrameter値に対して解を直接評価可能である。
• 訓練済みの補間モデルは、ベイズ後方分布推論のための高速で微分可能な前向きモデルとしてMCMCサンプリングに用いられる。
• ミニバッチを用いた確率的勾配降下法により、ネットワーク重みおよび損失関数内の多項式係数の両方を最適化する。
• パラメータ空間をサンプリング領域に埋め込むことで、PDEに対しても同様のアプローチを拡張し、深層補間によるパラメトリック解近似を可能にする。

実験結果

リサーチクエスチョン

• RQ1 従来の数値積分やコロケーションに依存せずに、深層ニューラルネットワークを用いて、FredholmおよびVolterra型の積分方程式のパラメトリック解を直接近似可能か？
• RQ2 PDEおよび積分方程式のための深層補間モデルは、高次元パrameter空間におけるベイズ逆問題において、効率的なMCMCサンプリングを可能にするか？
• RQ3 高次元設定において、深層補間MCMC手法の正確さと計算効率は、従来の有限差分MCMCと比較してどの程度優れているか？
• RQ4 標準的な深層学習最小化とは異なり、不適切な逆問題において、補間モデルは信頼性のある不確実性評価をどの程度提供できるか？
• RQ5 補間モデルが、境界条件や支配方程式を直接満たすように訓練されれば、補間ベースの補間モデルよりもより正確な解が得られるか？

主な発見

• 従来の有限差分MCMCと比較して、深層補間モデルはサンプリングの高速化を数個のオーダー達成し、同等の正確さを維持する。
• この手法は、PDEおよび積分方程式に基づくベイズ逆問題を効果的に解くことができ、実際の電気化学の例および航空機用の関数値熱伝達パラメータを含む応用事例も含む。
• 補間モデルは、ベイズ後方分布サンプリングにより正確な不確実性評価を提供するが、標準的な深層学習手法は信頼区間の推定を提供しない。
• 積分方程式のニューラルネットワークベースの解法は、テストされたベンチマークにおいて、従来の数値積分ベースのソルバーを上回る正確さと頑健性を示す。
• 補間モデルは微分可能で解析的であるため、勾配ベースのMCMCサンプラーとの統合が可能であり、将来の固有の遷移核の開発にも対応可能である。
• このアプローチにより、次元の呪いを克服し、従来の方法では計算不能となる高次元パラメータ空間におけるベイズ逆問題の解法が可能になる。