[論文レビュー] PCE-PINNs: Physics-Informed Neural Networks for Uncertainty Propagation in Ocean Modeling

Björn Lütjens, Catherine H. Crawford+2 more|arXiv (Cornell University)|May 5, 2021

Model Reduction and Neural Networks参考文献 29被引用数 6

ひとこと要約

本稿では、多項 chaos 展開（PCE）とディープラーニングを組み合わせることで、海洋モデルにおける高速かつ高精度な不確実性伝播を実現する、物理情報付きニューラルネットワークフレームワーク、PCE-PINNs を紹介する。ニューラルネットワークのサーヴィェイントにより PCE コefficient を学習することで、従来の高分解能モデルに比べ 15,000 倍の高速化を達成し、確率的移流拡散方程式におけるパrameter 不確実性を、平均二乗誤差 0.0078 で正確に評価した。

ABSTRACT

Climate models project an uncertainty range of possible warming scenarios from 1.5 to 5 degree Celsius global temperature increase until 2100, according to the CMIP6 model ensemble. Climate risk management and infrastructure adaptation requires the accurate quantification of the uncertainties at the local level. Ensembles of high-resolution climate models could accurately quantify the uncertainties, but most physics-based climate models are computationally too expensive to run as ensemble. Recent works in physics-informed neural networks (PINNs) have combined deep learning and the physical sciences to learn up to 15k faster copies of climate submodels. However, the application of PINNs in climate modeling has so far been mostly limited to deterministic models. We leverage a novel method that combines polynomial chaos expansion (PCE), a classic technique for uncertainty propagation, with PINNs. The PCE-PINNs learn a fast surrogate model that is demonstrated for uncertainty propagation of known parameter uncertainties. We showcase the effectiveness in ocean modeling by using the local advection-diffusion equation.

研究の動機と目的

• 局所的気候の不確実性評価のため、高分解能海洋モデルの多数アンサンブルを走らせる計算上の非現実性に対処すること。
• 物理情報付きニューラルネットワーク（PINNs）を決定論的予測の範囲から、既知のパrameter 不確実性を有する確率的システムへと拡張すること。
• 温度分布などの海洋過程における不確実性伝播を高速かつスケーラブルに可能にする、軽量なサーヴィェイントモデルを開発すること。
• PCE-PINNs が、海洋力学における重要なモデルである確率的局所移流拡散方程式（ADE）に対して有効であることを示すこと。

提案手法

• 本手法は、確率的偏微分方程式の解を確率的変数における直交多項式の級数として表現するため、多項 chaos 展開（PCE）と物理情報付きニューラルネットワーク（PINNs）を組み合わせる。
• ニューラルネットワークは PCE の時間的・空間的依存係数を学習し、モンテカルロサンプリングを必要とせずに統計的モーメント（平均と標準偏差）の高速評価を可能にする。
• PCE-PINN は、支配的移流拡散方程式の残差を最小化し、複数の空間時間グリッド点および確率的サンプルにおける境界条件を強制する損失関数を用いて訓練される。
• ランダム入力は、正の拡散係数を保証するため、対数正規分布への変換を施したガウス過程としてモデル化され、PCE は最大多項式次数 2 で、3 つの係数を有する。
• ReLU 活性関数を備えた全結合ニューラルネットワーク（2 層、128 ユニット）が、学習率 0.001 で ADAM 最適化アルゴリズムを用いて 15 エポックにわたり訓練される。
• サーヴィェイントモデルは、128×64 の空間時間グリッドを持つ 100 個の微分方程式解のデータセットを用いて検証され、約 133 kB のコンact モデルサイズを達成した。

実験結果

リサーチクエスチョン

• RQ1 物理情報付きニューラルネットワークを多項 chaos 展開と効果的に組み合わせることで、海洋モデリングにおける高速な不確実性伝播が可能になるか？
• RQ2 PCE-PINN サーヴィェイントモデルは、高精度なシミュレーションと比較して、確率的移流拡散方程式の解の平均および標準偏差をどれほど正確に再現できるか？
• RQ3 従来のアンサンブル手法と比較して、PCE-PINN フレームワークの計算およびストレージ効率はいかがなっているか？
• RQ4 PCE-PINN は、特にドメイン中央（z=0.5）のような高変動領域において、不確実性の時間的・空間的進化をどれほどよく捉えられるか？
• RQ5 本手法は、既知のパrameter 不確実性を有する他の海洋的・大気的プロセスへと拡張可能か？

主な発見

• PCE-PINN は、確率的移流拡散方程式の全空間時間的解の近似において、平均二乗誤差（MSE）が 0.0078 であった。
• 予測された平均および標準偏差は、ターゲット解とよく一致しており、特にドメイン中央（z=0.5）および時間経過（t=1）に伴い不確実性が増大する傾向を正しく捉えていた。
• 追加のサンプリングを必要とせず、PCE コefficient 従来の統計的モーメントを直接計算することで、効率的な不確実性評価が可能になった。
• 初期状態では不確実性をわずかに過大評価しており、右端付近（z≈1）ではわずかに正のバイアスが見られ、初期ステップでは曲率が低かった。
• 従来の高分解能シミュレーションに比べ、15,000 倍の高速化を達成し、パラメータ数は約 33,408 個、ストレージはたった 133 kB に収まった。
• 本フレームワークは、高次元の確率的空間における PCE コefficient をニューラルネットワークで学習可能であることを示し、複雑な海洋系におけるスケーラブルな不確実性伝播の実現可能性を裏付けた。