[論文レビュー] Uncertainty Quantification in Scientific Machine Learning: Methods, Metrics, and Comparisons

Apostolos F Psaros, Xuhui Meng+3 more|arXiv (Cornell University)|Jan 19, 2022

Model Reduction and Neural Networks被引用数 24

ひとこと要約

本論文は、SciMLにおける総不確実性のモデリングと評価のための包括的な枠組みを提示し、ベイズ法、アンサンブル、機能的事前分布、およびPINNとDeepONet文脈全体の後検証キャリブレーションを統合し、広範な比較研究を実施する。

ABSTRACT

Neural networks (NNs) are currently changing the computational paradigm on how to combine data with mathematical laws in physics and engineering in a profound way, tackling challenging inverse and ill-posed problems not solvable with traditional methods. However, quantifying errors and uncertainties in NN-based inference is more complicated than in traditional methods. This is because in addition to aleatoric uncertainty associated with noisy data, there is also uncertainty due to limited data, but also due to NN hyperparameters, overparametrization, optimization and sampling errors as well as model misspecification. Although there are some recent works on uncertainty quantification (UQ) in NNs, there is no systematic investigation of suitable methods towards quantifying the total uncertainty effectively and efficiently even for function approximation, and there is even less work on solving partial differential equations and learning operator mappings between infinite-dimensional function spaces using NNs. In this work, we present a comprehensive framework that includes uncertainty modeling, new and existing solution methods, as well as evaluation metrics and post-hoc improvement approaches. To demonstrate the applicability and reliability of our framework, we present an extensive comparative study in which various methods are tested on prototype problems, including problems with mixed input-output data, and stochastic problems in high dimensions. In the Appendix, we include a comprehensive description of all the UQ methods employed, which we will make available as open-source library of all codes included in this framework.

研究の動機と目的

• SciMLにおけるデータ、モデル、および最適化源のエラーを含む不確実性定量化の課題を動機づけ、 formalize する。
• 物理情報ニューラルネットワークとニューラルオペレーターを確率的アプローチと組み合わせた不確実性モデリングの統一フレームワークを提案する。
• SciML内での不確実性手法（ベイズ、アンサンブル、機能的 priors）と評価指標を調査・統合する。
• 異種データを伴うニューラル偏微分方程式およびニューラルオペレーターに対する広範な比較研究を通じてフレームワークを実証する。
• SciMLの不確実性量化における事後訓練改善とキャリブレーションのオープンソース資源とガイダンスを提供する。

提案手法

• SciMLにおける不確実性源を記述し、総不確実性をアレアトリック成分とエピステミック成分の組み合わせとして定式化する。
• neural PDEsおよび neural operatorsを解くための基盤としてPINNとDeepONetの基礎をそれぞれ構築ブロックとして提示する。
• 尤度に基づく事後分布、ベイズモデル平均、MCサンプリングを用いて総不確実性を定量化する予測分布をモデル化する。
• 機能的 priorsとアンサンブルおよびベイジアン後方推論法を導入して神経ネットワークパラメータの後方分布を推定する。
• 訓練後のキャリブレーションと評価指標を組み込み、精度と不確実性の品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 SciMLにおける総不確実性を neural PDEs および neural operators 全体でどのようにモデリング・定量化できるか。
• RQ2 異なるデータとモデルミス特性下で信頼できる予測分布を得るために、ベイズ、アンサンブル、機能的 priors の組み合わせはどのようなものが良いか。
• RQ3 ヘテロスケダスノイズ、混合決定論/確率論問題、および演算子学習を統一UQフレームワーク内でどう扱うか。
• RQ4 SciMLアプリケーションにおける不確実性推定の品質を評価するための指標とキャリブレーション技術はどれが最適か。
• RQ5 前方問題、混合PDE、SPDE、および演算子学習タスクにおける比較研究で、 different methods はどのように性能を発揮するか。

主な発見

• PRIORS、ベイズ推論、アンサンブル、およびキャリブレーションをPINNとDeepONetにまたがって統合することで、SciML向けの統一UQフレームワークが実現可能である。
• このフレームワークはノイズあり・ギャップデータを含むヘテロデータ設定や混合決定論/確率論問題をサポートする。
• 後方推論手法はアレアトリック成分とエピステミック成分に分解される予測分布を生み出し、不確実性の分解を可能にする。
• キャリブレーションと訓練後の技術は不確実性推定とモデル予測の信頼性を向上させる。
• 比較研究は関数近似、混合PDE、SPDE、フォワード問題、および演算子学習への広範な適用性を示す。
• フレームワークに付随するコードのオープンソースライブラリを提供（Appendix参照）。