[論文レビュー] Variational Bayes Deep Operator Network: A data-driven Bayesian solver for parametric differential equations

Shailesh Garg, Souvik Chakraborty|arXiv (Cornell University)|Jun 12, 2022

Model Reduction and Neural Networks被引用数 8

ひとこと要約

本稿では、変分推論を用いてネットワーク重みを点推定から変分後確率分布に置き換えることで、パラメトリック微分方程式の予測における不確実性を定量化するベイジアンディープオペレーターネットワーク、Variational Bayes DeepONet (VB-DeepONet) を提案する。VB-DeepONet は、過学習を低減し一般化性能を向上させる。4つのベンチマーク問題のうち3つで、わずかな計算コストの増加を除いて、決定的 DeepONet よりも優れた性能を示し、予測の信頼区間を提供する。

ABSTRACT

Neural network based data-driven operator learning schemes have shown tremendous potential in computational mechanics. DeepONet is one such neural network architecture which has gained widespread appreciation owing to its excellent prediction capabilities. Having said that, being set in a deterministic framework exposes DeepONet architecture to the risk of overfitting, poor generalization and in its unaltered form, it is incapable of quantifying the uncertainties associated with its predictions. We propose in this paper, a Variational Bayes DeepONet (VB-DeepONet) for operator learning, which can alleviate these limitations of DeepONet architecture to a great extent and give user additional information regarding the associated uncertainty at the prediction stage. The key idea behind neural networks set in Bayesian framework is that, the weights and bias of the neural network are treated as probability distributions instead of point estimates and, Bayesian inference is used to update their prior distribution. Now, to manage the computational cost associated with approximating the posterior distribution, the proposed VB-DeepONet uses extit{variational inference}. Unlike Markov Chain Monte Carlo schemes, variational inference has the capacity to take into account high dimensional posterior distributions while keeping the associated computational cost low. Different examples covering mechanics problems like diffusion reaction, gravity pendulum, advection diffusion have been shown to illustrate the performance of the proposed VB-DeepONet and comparisons have also been drawn against DeepONet set in deterministic framework.

研究の動機と目的

• パラメトリック微分方程式を解く際の決定的 DeepONet の限界、すなわち過学習と不確実性の定量化の欠如を是正すること。
• 計算効率を維持しつつ、不確実性を考慮した予測を可能にするベイジアンディープオペレーターネットワークの開発。
• 変分推論を用いて、ネットワーク重みの点推定を確率分布に置き換えることにより、頑健な一般化と不確実性の定量化を実現すること。
• 常微分方程式および偏微分方程式を含む多様な力学的問題に対して、提案されたフレームワークの評価。
• 複数のベンチマーク問題において、VB-DeepONet の性能と不確実性のキャリブレーションを決定的 DeepONet と比較すること。

提案手法

• ニューラルネットワークの重みとバイアスを点推定ではなく確率分布として扱い、ベイジアン推論を可能にする。
• 真の後確率分布を近似するために変分推論を用い、変分後確率分布と真の後確率分布のKLダイバージェンスを最小化する。
• スケーラブルなベイジアンディープラーニングを可能にするために、標準正規分布を事前分布とし、正規分布を変分分布として用いる。
• 入力関数を処理するブランチネットワークと、空間的／時系列的座標を処理するトランクネットワークを組み合わせ、DeepONet と同様に関数から関数へのマッピングを実現する。
• 負の変分下界（ELBO）を最小化する損失関数を用いてモデルを学習し、尤度項と正則化項を統合する。
• 変分後確率分布からのモンテカルロサンプルを用いて、予測の平均出力と予測不確実性（例：信頼区間）を出力可能にする。

実験結果

リサーチクエスチョン

• RQ1 DeepONet のベイジアン定式化は、パラメトリック微分方程式の演算子学習における一般化性能の向上と過学習の低減を図ることができるか？
• RQ2 VB-DeepONet が得る予測不確実性は、さまざまな物理系において真値とどのように比較されるか？
• RQ3 高次元パrameter空間を有するベイジアン DeepONet の学習において、MCMC に代わる計算的に実行可能な代替手段として変分推論が有効であるか？
• RQ4 予測精度と不確実性のキャリブレーションという観点から、VB-DeepONet が決定的 DeepONet を上回る状況はどのようなものか？
• RQ5 特に MCMC を用いたベイジアン手法と比較して、VB-DeepONet が生成する信頼区間の信頼性はどの程度か？

主な発見

• VB-DeepONet は、4つのテストケースのうち3つで、決定的 DeepONet よりも低い正規化平均二乗誤差（NMSE）を達成した：逆微分（0.009% 対 0.016%）、重力振り子（0.025% 対 0.033%）、拡散反応（0.610% 対 0.458%）。
• 移流拡散問題では、VB-DeepONet がより高い NMSE（0.355%）を示したが、依然として意味のある不確実性定量化を提供した（決定的 DeepONet は 0.646%）。
• 4つの例のうち3つで真値が95%予測信頼区間内に存在しており、適切な不確実性キャリブレーションがなされていることが示された。
• 移流拡散ケースでは、真値が時折信頼区間の外に位置したため、変分推論が過信ぎみの不確実性推定を生じる可能性があると示唆された。
• VB-DeepONet は、すべてのテストケースで予測信頼区間を提供し、点推定のみに依存する意思決定支援に追加のインサイトを提供した。
• 計算コストの増加を除き、VB-DeepONet は、ベイジアン正則化のおかげで、データが不足するか、ノイズが多い状況においても、より頑健で一般化性能の高い性能を示した。