[論文レビュー] NeuralUQ: A comprehensive library for uncertainty quantification in neural differential equations and operators

Zongren Zou, Xuhui Meng+2 more|arXiv (Cornell University)|Aug 25, 2022

Model Reduction and Neural Networks被引用数 13

ひとこと要約

NeuralUQ は、科学的機械学習（SciML）モデル、特に物理情報付きニューラルネットワーク（PINNs）やディープオペレーターネットワーク（DeepONets）における不確実性評価（UQ）を統合的かつ拡張可能に提供するオープンソースの Python ライブラリです。ベイジアンニューラルネットワーク、モンテカルロドロップアウト、ハミルトニアンモンテカルロなど、複数の現代的 UQ メソッドをモジュラーで使いやすいワークフローで統合し、最小限の実装コストで動的システムや高次元 PDE における信頼性の高い不確実性推定を可能にします。

ABSTRACT

Uncertainty quantification (UQ) in machine learning is currently drawing increasing research interest, driven by the rapid deployment of deep neural networks across different fields, such as computer vision, natural language processing, and the need for reliable tools in risk-sensitive applications. Recently, various machine learning models have also been developed to tackle problems in the field of scientific computing with applications to computational science and engineering (CSE). Physics-informed neural networks and deep operator networks are two such models for solving partial differential equations and learning operator mappings, respectively. In this regard, a comprehensive study of UQ methods tailored specifically for scientific machine learning (SciML) models has been provided in [45]. Nevertheless, and despite their theoretical merit, implementations of these methods are not straightforward, especially in large-scale CSE applications, hindering their broad adoption in both research and industry settings. In this paper, we present an open-source Python library (https://github.com/Crunch-UQ4MI), termed NeuralUQ and accompanied by an educational tutorial, for employing UQ methods for SciML in a convenient and structured manner. The library, designed for both educational and research purposes, supports multiple modern UQ methods and SciML models. It is based on a succinct workflow and facilitates flexible employment and easy extensions by the users. We first present a tutorial of NeuralUQ and subsequently demonstrate its applicability and efficiency in four diverse examples, involving dynamical systems and high-dimensional parametric and time-dependent PDEs.

研究の動機と目的

• 科学的機械学習（SciML）モデル、特に物理情報付きニューラルネットワーク（PINNs）やディープオペレーターネットワーク（DeepONets）における不確実性評価（UQ）のためのアクセス可能でメンテナンスが確実なソフトウェアの不足に対処すること。
• 多様な UQ メソッドを最小限の実装複雑性で SciML 問題に適用できる、統合的かつ拡張可能で使いやすいソフトウェアフレームワークを提供すること。
• 研究者および実務家が、ベイジアン推論、モンテカルロドロップアウト、ディープアンサンブルなどの最新の UQ 技術を一貫したソフトウェア環境内で、効率的に適用・比較・拡張できるようにすること。
• 包括的なチュートリアルとモジュラー設計を提供することで、再現性のある研究と迅速なプロトタイピングを促進し、カスタムサロゲート、事前分布、推論手法のサポートを可能にすること。
• 小規模および大規模データ環境の両方で、計算科学および工学分野における大規模で現実世界の応用を支援する、効率的でスケーラブルかつプロダクション準備の整った UQ 実装を提供すること。

提案手法

• サロゲートモデル（例：PINNs、DeepONets）、事前分布、推論手法（例：HMC、MFVI、MCD）、および事後分布推定コンponents を分離したモジュラーなソフトウェアアーキテクチャを実装すること。
• ベイジアンニューラルネットワーク（BNNs）、モンテカルロドロップアウト（MCD）、ディープアンサンブル、ハミルトニアンモンテカルロ（HMC）などの複数の不確実性評価技術を、一貫したワークフローに統合すること。
• ラングジュアン動力学（LD）、平均場変分推論（MFVI）、MCD などの確率的最適化互換手法を用いて、大規模データ環境におけるスケーラブルな UQ を可能にするミニバッチ学習をサポートすること。
• ユーザーがカスタムサロゲート（例：事前学習済みの生成モデル）、事前分布（例：物理に依存しない関数的事前分布）、および事後分布推論戦略を簡単に統合できる柔軟なインターフェースを提供すること。
• 既存の SciML ツールやフレームワークとの容易な統合を可能にする、標準化され拡張可能な API を中心にライブラリを設計すること。
• ODE、PDE、オペレーター学習タスクを含む、実世界の問題への UQ メソッドの設定と適用をガイドする包括的な教育的チュートリアルを提供すること。

Figure 1: Schematic overview of a SciML problem scenario. As shown in (a), SciML problems of interest include, but are not limited to, forward, inverse and mixed ODEs/PDEs, and operator learning problems. Next, in the pie chart of (b) a qualitative breakdown of total uncertainty is shown, describing

実験結果

リサーチクエスチョン

• RQ1 科学的機械学習（SciML）におけるニューラル微分方程式およびオペレーター学習モデルに、不確実性評価（UQ）を体系的かつ効率的に適用する方法は何か？
• RQ2 小規模データ（数100件程度）と大規模データの両方のデータレジーム、および前向き/逆問題 ODE/PDE、パラメトリックかつ時間依存 PDE などの問題タイプにおいて、最も効果的な UQ メソッドは何か？
• RQ3 多様な UQ 技術をサポートしつつ、研究および産業用途の両方で使いやすさとパフォーマンスを維持できる、統合的・モジュラー的かつ拡張可能なソフトウェアライブラリをどのように設計できるか？
• RQ4 ディープアンサンブル、ベイジアン推論、ドロップアウトベース手法などの異なる UQ メソッドを SciML モデルに適用した際の、計算効率、精度、耐性の実用的トレードオフは何か？
• RQ5 UQ の出力を用いて不確実性を考慮したアクティブラーニングを SciML パイプラインに統合し、知的データ収集とモデル最適化を実現するにはどうすればよいか？

主な発見

• NeuralUQ は、HMC、MFVI、MCD、ディープアンサンブルを含む複数の UQ メソッドを、PINNs や DeepONets に最小限のコード複雑性で適用可能にし、高い使いやすさと拡張性を実証した。
• 数100件程度の小規模データセットでは、ハミルトニアンモンテカルロ（HMC）が高精度な事後分布推定を効率的に提供し、不確実性に敏感な応用に適している。
• 大規模データセットでは、ラングジュアン動力学（LD）、平均場変分推論（MFVI）、モンテカルロドロップアウト（MCD）などの確率的最適化互換手法が、HMC の代替としてスケーラブルかつ効率的な選択肢を提供し、ミニバッチ学習を可能にした。
• ディープアンサンブル法は、ニューラル ODE/PDE およびニューラルオペレーター問題の両方において、計算的に効率的で信頼性の高いモデル不確実性推定を提供し、特にデータのミニバッチ処理と組み合わせると効果的である。
• 物理に依存しない関数的事前分布（PA-FP）は、ニューラルオペレーター学習における不完全または欠落したデータに起因する不確実性を効果的に評価でき、ディープアンサンブルはエピステミック不確実性の捕捉に有効である。
• ライブラリは、カスタムサロゲート（例：事前学習済みの物理情報付き GAN）および推論手法の柔軟な統合を可能にし、新規で複雑な SciML ワークフローへの適応可能性を示した。

Figure 2: A unified view of the UQ models studied in Section 2.2 ; adopted from [ 45 ] . The model $\pazocal{M}_{1}$ can be a NN or a generator network, or nothing. The model $\pazocal{M}_{2}$ can be a PDE or an operator, such as a pre-trained DeepONet. The quantities $\phi$ , $\psi$ can be the solu