[論文レビュー] Approximate Bayesian Neural Operators: Uncertainty Quantification for Parametric PDEs

Emilia Magnani, Nicholas Krämer+3 more|arXiv (Cornell University)|Aug 2, 2022

Model Reduction and Neural Networks被引用数 4

ひとこと要約

この論文は、パrametric偏微分方程式（PDE）を解くための深層学習モデルにおける不確実性の定量化を提供する Approximate Bayesian Neural Operators を導入する。線形ケースではガウス過程理論を、深層ケースではラプラス近似を組み合わせることで、高データおよび低データの両領域においても、高い予測誤差領域を特定できる構造的で局所的な不確実性推定が可能になる。

ABSTRACT

Neural operators are a type of deep architecture that learns to solve (i.e. learns the nonlinear solution operator of) partial differential equations (PDEs). The current state of the art for these models does not provide explicit uncertainty quantification. This is arguably even more of a problem for this kind of tasks than elsewhere in machine learning, because the dynamical systems typically described by PDEs often exhibit subtle, multiscale structure that makes errors hard to spot by humans. In this work, we first provide a mathematically detailed Bayesian formulation of the ''shallow'' (linear) version of neural operators in the formalism of Gaussian processes. We then extend this analytic treatment to general deep neural operators using approximate methods from Bayesian deep learning. We extend previous results on neural operators by providing them with uncertainty quantification. As a result, our approach is able to identify cases, and provide structured uncertainty estimates, where the neural operator fails to predict well.

研究の動機と目的

• PDEソルバーの安全・信頼性が求められる応用分野や科学的応用分野において、ニューラルオペレータにおける不確実性定量化の欠如を是正すること。
• 予測の信頼性を評価し、障害モードを検出できる理論的裏付けのあるベイジアンフレームワークをニューラルオペレータに開発すること。
• 解析的ベイジアン処理を線形（浅層）ケースから深層ニューラルオペレータへ拡張するために、近似推論を用いること。
• 事後学習済みモデルに対して後処理としてラプラス近似を適用することで、低計算コストで実用的な不確実性推定を可能にすること。
• 不確実性推定が、グローバルおよび局所的な予測誤差を検出できることを実証すること、特にモデルアーティファクトや一般化性能の低い領域において顕著である。

提案手法

• グリーン関数とカーネル法を用いて、線形パラメトリックPDEの解作用素をガウス過程（GP）として定式化する。
• GPフレームワークを用いて、浅層（1層）ニューラルオペレータケースにおける正確なベイジアン推論を実現する。
• ラプラス近似を用いてベイジアン処理を深層ニューラルオペレータへ拡張し、トレーニング後における効率的な事後分布近似を可能にする。
• ラプラス近似を適用して、ネットワーク重みの事後分散を推定し、関数出力における予測不確実性を導出する。
• ラプラス近似からの予測分散を、入力ドメイン全体にわたる構造的不確実性測度として用いる。
• 関数対 (f, u) を用いてニューラルオペレータを学習し、解作用素 G: f ↦ u を学習した後、ベイジアン推論を適用して予測の不確実性を定量化する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程を用いて、ニューラルオペレータの線形（浅層）版に厳密に導出可能なベイジアン定式化が可能か？
• RQ2 解析的解が得られない深層ニューラルオペレータに、不確実性定量化を効果的に拡張する方法は何か？
• RQ3 ラプラス近似による近似ベイジアン推論は、特にモデルアーティファクトのある領域において、局所的な予測誤差を検出できるか？
• RQ4 提案手法の不確実性推定は、低データおよび高データの両領域においても適切にキャリブレーションされ、有用な情報を持つのか？
• RQ5 不確実性測度は、ReLUベースの区分線形領域など、モデルの制限によって生じる高誤差領域と、データの疎らさによる高誤差領域を区別できるか？

主な発見

• ニューラルオペレータの線形ケースはガウス過程を用いて正確なベイジアン処理が可能であり、解析的不確実性定量化が実現できる。
• ラプラス近似は、事前学習済みの深層ニューラルオペレータに不確実性推定を追加するための計算的に効率的な手法を提供する。
• 低データ領域では、ドメイン全体にわたり構造的不確実性が得られ、予測の信頼性が低い領域を特定する。
• 高データ領域では、不確実性推定がDarcy流れ問題における明確なアーティファクト領域を的確に局所化し、モデルの一般化性能の低さを特定する。
• 予測標準偏差と実際の予測誤差の間に強い相関が観察され、不確実性推定が適切にキャリブレーションされていることが示された。
• 本手法により、ReLU活性化関数に起因するモデル固有の障害モードを検出可能となり、科学的応用における予測の信頼性が向上する。