[論文レビュー] Bayesian neural networks for weak solution of PDEs with uncertainty quantification

Xiaoxuan Zhang, Krishna Garikipati|arXiv (Cornell University)|Jan 13, 2021

Model Reduction and Neural Networks参考文献 64被引用数 17

ひとこと要約

本論文は、弱形式離散化を用いたベクトル化・畳み込み型演算子ベースの実装により、偏微分方程式（PDE）を解く物理制約付きベイジアンニューラルネットワーク（BNN）フレームワークを提案する。離散化された残差に基づく損失関数を定式化し、決定論的およびベイジアン層を組み合わせたエンコーダ・デコーダアーキテクチャを採用することで、不確実性の定量化（エピステミックおよびアレアトリック不確実性を含む）を伴う高スルーレットPDEソルバーを実現。さらに、再トレーニングなしで未学習の境界条件や幾何形状にも一般化可能である。

ABSTRACT

Solving partial differential equations (PDEs) is the canonical approach for understanding the behavior of physical systems. However, large scale solutions of PDEs using state of the art discretization techniques remains an expensive proposition. In this work, a new physics-constrained neural network (NN) approach is proposed to solve PDEs without labels, with a view to enabling high-throughput solutions in support of design and decision-making. Distinct from existing physics-informed NN approaches, where the strong form or weak form of PDEs are used to construct the loss function, we write the loss function of NNs based on the discretized residual of PDEs through an efficient, convolutional operator-based, and vectorized implementation. We explore an encoder-decoder NN structure for both deterministic and probabilistic models, with Bayesian NNs (BNNs) for the latter, which allow us to quantify both epistemic uncertainty from model parameters and aleatoric uncertainty from noise in the data. For BNNs, the discretized residual is used to construct the likelihood function. In our approach, both deterministic and probabilistic convolutional layers are used to learn the applied boundary conditions (BCs) and to detect the problem domain. As both Dirichlet and Neumann BCs are specified as inputs to NNs, a single NN can solve for similar physics, but with different BCs and on a number of problem domains. The trained surrogate PDE solvers can also make interpolating and extrapolating (to a certain extent) predictions for BCs that they were not exposed to during training. Such surrogate models are of particular importance for problems, where similar types of PDEs need to be repeatedly solved for many times with slight variations. We demonstrate the capability and performance of the proposed framework by applying it to steady-state diffusion, linear elasticity, and nonlinear elasticity.

研究の動機と目的

• 従来のFEMと比較して計算コストを低減する、繰り返しのシミュレーションに適した高スルーレットな代替PDEソルバーの開発。
• ベイジアンニューラルネットワーク（BNN）と物理情報学習を統合することで、PDE解における不確実性定量化を実現。
• 効率的な畳み込み演算を用いて、強形式制約を回避する、離散化された弱形式残差に基づく損失関数の定式化。
• 1つのニューラルネットワークを用いて、再トレーニングなしで新しい境界条件や問題領域への一般化を可能に。
• 迅速かつ信頼性の高い不確実性を伴うPDE解を提供することで、工学および材料科学分野における設計・意思決定支援を実現。

提案手法

• 本手法は、有限要素法のアセンブリ原理に従い導出された、PDEの弱形式の離散化された残差をコア損失関数として用いる。
• 畳み込み型演算子ベースのベクトル化実装により、2次元畳み込みカーネルを用いて局所的な節点値を抽出することで、すべての要素に対して残差を計算。
• ガウス点ごとにB演算子行列と重み付き積分を用いて残差を計算し、合計によりグローバルな残差に縮約。
• ディリクレおよびノイマン境界条件は入力テンソルとして符号化され、マスキングと再代入により解行列に直接的に組み込まれる。
• エンコーダ・デコーダニューラルネットワークアーキテクチャを採用。決定論的層は決定論的解を、ベイジアン層は不確実性定量化を担当。
• BNNでは、離散化された残差から尤度関数を構築し、ネットワーク重みの事後分布推論と不確実性の伝播を可能にする。

実験結果

リサーチクエスチョン

• RQ1 弱形式PDEに物理制約付きのニューラルネットワークを訓練することで、多様な境界条件や幾何形状において高い精度と一般化性能を達成できるか？
• RQ2 教師ありデータを必要とせず、ベイジアンニューラルネットワークがPDE解においてエピステミック不確実性とアレアトリック不確実性を効果的に定量化できるか？
• RQ3 1つのトレーニング済みニューラルネットワークが、トレーニング時に見られなかった新しい境界条件や問題領域に対して、どの程度補間または外挿できるか？
• RQ4 従来のFEMや強形式PINNと比較して、残差のベクトル化・畳み込み型実装は、効率性と正確性の面でどの程度優れているか？
• RQ5 非線形弾性や拡散方程式を含む非線形PDEに対しても、本フレームワークは一般化可能か？

主な発見

• 提案手法は、弱形式の残差のみを損失関数として用いることで、定常拡散、線形弾性、非線形弾性問題において高精度な解を得た。
• トレーニング時に見られなかった新しい境界条件や問題領域に対しても一般化でき、強力な外挿能力を示した。
• ベイジアンニューラルネットワークのバリエーションは、モデル重みに起因するエピステミック不確実性と、データノイズに起因するアレアトリック不確実性の両方を効果的に定量化した。
• ベクトル化・畳み込み型実装により、明示的なループを回避し、すべての要素における残差計算を効率的に行える。FEMのアセンブリと同等の正確性を維持した。
• 1つのサーヴィレートモデルをトレーニングすることで、新しい設定に迅速に適用可能な高スルーレットPDEソルバーを実現。
• ベンチマーク問題における弾性および拡散問題の例から、複雑な幾何形状や非線形材料挙動に対しても、本手法が高精度を維持することが示された。