[論文レビュー] Random Grid Neural Processes for Parametric Partial Differential Equations

Arnaud Vadeboncoeur, Ieva Kazlauskaite+4 more|arXiv (Cornell University)|Jan 26, 2023

Gaussian Processes and Bayesian Inference被引用数 4

ひとこと要約

本論文は、空間的配置グリッドを確率的変数として扱うことで、パラメトリックPDEにおける不確実性を伴うスケーラブルな学習を可能にする、物理的制約付き変分推論フレームワーク「Random Grid Neural Processes」を提案する。空間統計、ガウス過程、および新規のグリッド不変畳み込みネットワーク（GICNet）を組み合わせることで、非線形ポisson方程式、バーガース方程式、ナビエ＝ストークス方程式の前方および逆問題において、予測精度と不確実性の定量化を向上させ、ノイズが混入した不規則なサンプル点からのデータに対して、計算効率とロバスト性に優れる。

ABSTRACT

We introduce a new class of spatially stochastic physics and data informed deep latent models for parametric partial differential equations (PDEs) which operate through scalable variational neural processes. We achieve this by assigning probability measures to the spatial domain, which allows us to treat collocation grids probabilistically as random variables to be marginalised out. Adapting this spatial statistics view, we solve forward and inverse problems for parametric PDEs in a way that leads to the construction of Gaussian process models of solution fields. The implementation of these random grids poses a unique set of challenges for inverse physics informed deep learning frameworks and we propose a new architecture called Grid Invariant Convolutional Networks (GICNets) to overcome these challenges. We further show how to incorporate noisy data in a principled manner into our physics informed model to improve predictions for problems where data may be available but whose measurement location does not coincide with any fixed mesh or grid. The proposed method is tested on a nonlinear Poisson problem, Burgers equation, and Navier-Stokes equations, and we provide extensive numerical comparisons. We demonstrate significant computational advantages over current physics informed neural learning methods for parametric PDEs while improving the predictive capabilities and flexibility of these models.

研究の動機と目的

• 配置グリッドにおける不確実性を考慮した、確率的かつスケーラブルな前方および逆問題の解法フレームワークの開発。
• 固定グリッドの深層学習モデルの限界を克服するため、空間グリッドを変分推論によって周辺化可能な確率的変数として扱う。
• 任意の測定位置から得られるノイズ混入・不規則なサンプリングされたデータを、物理的制約付き学習に原理的かつ整合的に統合する。
• 強い不確実性定量化を維持しつつ、パラメトリックPDE学習における計算効率と予測のロバスト性を向上させる。
• 空間統計とガウス過程モデリングを統合することで、決定論的でグリッド固定のアーキテクチャにとどまらないPDEの深層学習の拡張。

提案手法

• 空間領域に確率測度を割り当て、学習中に周辺化するため、配置グリッドを確率的変数として扱う。
• 物理的制約に基づく変分推論フレームワークを採用し、ランダムなドメイン分割を条件として、物理的パラメータと解場の間の連合写像を学習する。
• 解場を表すガウス過程のランダム場をモデル化するための新しい種類のカーネルを導入し、不確実性を伴う予測を可能にする。
• ランダムにサンプリングされた配置グリッド上で、等変性かつロバストな特徴抽出を実現するためのグリッド不変畳み込みネットワーク（GICNet）アーキテクチャを提案する。
• 固定グリッドでない任意のグリッドからのノイズ混入観測値を、確率的観測モデルを用いて、ランダムグリッドフレームワークと整合させる。
• 物理的制約の残差と観測データの尤度に対する変分下界を組み合わせた微分可能損失関数を用いて、エンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 PDEの深層学習において配置グリッドを確率化することで、ノイズ混入や不規則なサンプリングデータに対する不確実性定量化とロバスト性が向上するか？
• RQ2 物理的整合性を保ちつつ、空間グリッドを確率的変数として扱う変分推論フレームワークをどのように設計できるか？
• RQ3 グリッド不変ニューラルアーキテクチャ（GICNet）は、従来の深層学習モデルと比較して、パラメトリックPDE学習における一般化性能と計算効率をどの程度向上させ得るか？
• RQ4 複雑なPDEに対して、本手法はDeepONets、PINNs、PDDLVMなどの既存の物理的制約付きモデルと比較して、精度と不確実性のキャリブレーションにおいて優れているか？
• RQ5 確率的モデリングによるパrameterの曖昧さを捉えることで、本フレームワークは不適切に定義された逆問題を効果的に処理できるか？

主な発見

• 本手法は、特に学習および推論速度において、既存の物理的制約付き深層学習手法に比べて顕著な計算上の利点を達成している。
• 非線形ポアソン問題、バーガース方程式、ナビエ＝ストークスのライド・キャビティ・フラウの問題において、予測性能と不確実性定量化の両面で優れた結果を示した。
• 任意のグリッドからのノイズ混入・スパarsな観測値を統合することで、固定グリッドベースラインに比べてよりロバストな予測が得られ、特に測定位置が固定メッシュと一致しない場合に顕著である。
• 不確実性推定値はモデルの自信を反映しており、ブラックボックス型深層学習応用において予測の信頼性を評価する上で重要である。
• 確率的モデリングによるパrameterの曖昧さの捉え込みにより、不適切に定義された逆問題を効果的に処理でき、決定論的アプローチに欠ける能力を有している。
• 実験的結果から、PDDLVM、変更版DeepONets、フーリエ特徴量ネットワークと同等の精度と不確実性キャリブレーションを達成していることが示された。