[論文レビュー] Multiscale Neural Operator: Learning Fast and Grid-independent PDE Solvers

Björn Lütjens, Catherine H. Crawford+3 more|arXiv (Cornell University)|Jul 23, 2022

Model Reduction and Neural Networks被引用数 7

ひとこと要約

本稿では、グリッドに依存しない非局所的パrametrizationを用いた、マルチスケール偏微分方程式（PDE）を解くための新しい物理情報付き機械学習代理モデルであるマルチスケールニューラルオペレータ（MNO）を紹介する。サブグリッドスケール効果を大規模なダイナミクスに近似するニューラルオペレータを学習することで、MNOは準線形の実行時間複雑性を達成し、混沌としたマルチスケールLorenz96系において、最新の手法と比較して精度と柔軟性に優れる。

ABSTRACT

Numerical simulations in climate, chemistry, or astrophysics are computationally too expensive for uncertainty quantification or parameter-exploration at high-resolution. Reduced-order or surrogate models are multiple orders of magnitude faster, but traditional surrogates are inflexible or inaccurate and pure machine learning (ML)-based surrogates too data-hungry. We propose a hybrid, flexible surrogate model that exploits known physics for simulating large-scale dynamics and limits learning to the hard-to-model term, which is called parametrization or closure and captures the effect of fine- onto large-scale dynamics. Leveraging neural operators, we are the first to learn grid-independent, non-local, and flexible parametrizations. Our extit{multiscale neural operator} is motivated by a rich literature in multiscale modeling, has quasilinear runtime complexity, is more accurate or flexible than state-of-the-art parametrizations and demonstrated on the chaotic equation multiscale Lorenz96.

研究の動機と目的

• 気候、流体力学、およびその他のマルチスケール系における高分解能数値シミュレーションの計算上の非現実性に対処するため。
• 既知の大規模な物理法則を活用し、サブグリッドスケールパラメータ化項のみを学習することで、高速かつ高精度な代理モデルを開発するため。
• データの過剰依存、グリッド依存性、柔軟性の欠如といった既存の機械学習ベースの代理モデルの限界を、グリッドに依存しない非局所的学習を可能にするニューラルオペレータを用いることで克服するため。
• Lorenz96系のような混沌としたマルチスケールPDEにおいて、効率的な不確実性評価とパrameter探索を可能にするため。

提案手法

• 本手法はPDEを大規模（LS）ダイナミクス（既知の物理法則により明示的に解く）と微小スケール（FS）効果（パラメータ化項としてモデル化）に分解する。
• 大規模状態からサブグリッド駆動力項へのマッピングを学習するためのニューラルオペレータを訓練し、グリッドに依存しない非局所的予測を可能にする。
• 複数層を備えたフーリエに基づくアーキテクチャを用いてニューラルオペレータを実装し、Adamを用いた確率的最適化と指数関数的学習率スケジューラーを用いて学習する。
• 粗いグリッドのシミュレーションデータセットを用い、真値の微小スケール補正を含むデータで学習を行い、時間的モデリングには1ステップ分の履歴のみを用いる。
• 学習したパラメータ化を大規模シミュレーション内に埋め込むことで、気象モデルにおける物理的パラメータ化に類似した代理モデルを構築する。
• 自動微分可能ソルバーの必要なしに、新しいグリッドに対して再訓練なしに、異なる解像度で高速な推論が可能である。

実験結果

リサーチクエスチョン

• RQ1 機械学習ベースの代理モデルは、マルチスケールPDEにおけるサブグリッドスケール効果について、グリッドに依存しない非局所的パラメータ化を達成できるか？
• RQ2 このようなモデルは、さまざまな空間解像度において、準線形の実行時間複雑性を維持しながら高い精度を保てるか？
• RQ3 混沌としたマルチスケール系において、ニューラルオペレータベースのパラメータ化は、従来の線形または局所的機械学習ベースのパラメータ化と比較してどのように異なるか？
• RQ4 物理情報付き学習は、PDEの代理モデル構築において、データ要件を低減し一般化性能を向上させるのにどの程度効果的か？

主な発見

• MNOモデルは、マルチスケールLorenz96系において、機械学習ベースのパラメータ化および気象学的平均値と比較して、平均値および標準偏差の予測精度が顕著に優れている。
• MNOモデルは、長時間にわたり真値のダイナミクスを高い忠実度で予測し、標準的な機械学習ベースのパラメータ化では約t=0.125で発散するのに対し、優れた性能を示している。
• MNOモデルの学習には単一のCPUでわずか1時間50分で完了し、モデル学習にかかるデータおよび計算コストが低いことを示している。
• ニューラルオペレータベースのパラメータ化はグリッドに依存せず非局所的であり、再訓練なしに異なる空間解像度に一般化可能である。
• MNO手法は準線形の実行時間複雑性を達成しており、従来のソルバーが非現実的となる高解像度シミュレーションにおいてもスケーラブルである。
• 従来の線形パラメータ化（最小二乗法フィッティングに依存）に比べ、本モデルは非線形サブグリッド効果を捉える能力に優れ、柔軟性と精度に優れている。