[論文レビュー] Message Passing Neural PDE Solvers

J. Brandstetter, Daniel E. Worrall+1 more|arXiv (Cornell University)|Feb 7, 2022

Model Reduction and Neural Networks被引用数 61

ひとこと要約

MP-PDEを導入。グラフニューラルネットワークに基づく完全なニューラル自己回帰 PDEソルバーで、PDE、領域、境界条件を横断的に一般化し、Pushforward trickや時系列バンドリングのような安定化技術を備える。

ABSTRACT

The numerical solution of partial differential equations (PDEs) is difficult, having led to a century of research so far. Recently, there have been pushes to build neural--numerical hybrid solvers, which piggy-backs the modern trend towards fully end-to-end learned systems. Most works so far can only generalize over a subset of properties to which a generic solver would be faced, including: resolution, topology, geometry, boundary conditions, domain discretization regularity, dimensionality, etc. In this work, we build a solver, satisfying these properties, where all the components are based on neural message passing, replacing all heuristically designed components in the computation graph with backprop-optimized neural function approximators. We show that neural message passing solvers representationally contain some classical methods, such as finite differences, finite volumes, and WENO schemes. In order to encourage stability in training autoregressive models, we put forward a method that is based on the principle of zero-stability, posing stability as a domain adaptation problem. We validate our method on various fluid-like flow problems, demonstrating fast, stable, and accurate performance across different domain topologies, equation parameters, discretizations, etc., in 1D and 2D.

研究の動機と目的

• 解像度、トポロジー、形状、境界条件、離散化、次元性を横断して一般化するエンドツーエンドのニューラルPDEソルバーを動機づける。
• 古典的なソルバーを特殊ケースとして包含するニューラルメッセージパッシングアーキテクチャを提案する（FDM/FVM/WENO）。
• Pushforwardトリックと時系列バンドリングによって自己回帰トレーニングの不安定性を解消し、ゼロ安定性を改善する。
• クラス内の複数のPDEを一般化し、推論時に未知のPDE係数でのテストをサポートする。

提案手法

• 計算格子をグラフとしてモデル化し、Encode-Process-Decodeフレームワークでグラフニューラルネットワークを用いる。
• PDEソルバーを、古典的な微分/フラックス計算を模倣する学習済みメッセージパッシング更新の系列として表現する。
• 方程式埋め込みベクトルを用いてPDEパラメータと境界条件をネットワークに注入する。
• 安定性のための一貫性を保つよう、複数の未来時間ステップを同時に出力するデコーダを適用する。
• 1ステップ項と安定性（Pushforward）項を含む組み合わせ損失で訓練し、分布シフトを緩和する。
• ローアウト誤差と計算量を削減するため、時系列バンドリングを用いて複数の時間ステップを並列に予測する。

実験結果

リサーチクエスチョン

• RQ1 クラス内の異なるPDEに対して、異なる領域の幾何学や境界条件のもとでニューメッセージパッシングソルバーは一般化できるか。
• RQ2 安定性指向のトレーニング戦略（Pushforwardと時系列バンドリング）は長いロールアウトの精度を改善し、自己回帰誤差を緩和するか。
• RQ3 MP-PDEソルバーは古典的ソルバーの挙動（FDM/FVM/WENO）をどの程度回復し、非規則格子や高次元（1D/2D）へ一般化できるか。
• RQ4 PDE係数（θPDE）で条件付けすることは、未知パラメータ配置を解く際の一般化にどの程度影響するか。
• RQ5 マルチ物理系風の問題（ Burgers、熱、KdV、Navier–Stokes風の設定など）におけるMP-PDEの性能は、最先端のニューラル演算子や古典ソルバーと比較してどうか。

主な発見

• MP-PDEソルバーは分解能、領域トポロジー、幾何、境界条件、次元（1Dおよび2D）を横断して一般化する。
• ニューラルメッセージパッシングは、有限差分、有限体積、WENOといった古典ソルバーをそのアーキテクチャ内で表現・再現できる。
• 安定性重視のトレーニング（Pushforwardトリック）と時系列バンドリングは、自己回帰予測のロールアウト安定性を大幅に向上させ、誤差蓄積を減らす。
• MP-PDEは未知のPDE群の中でWENO5および自己回帰FNO-RNNよりも優れており、PDEパラメータ条件付け（θPDE）の恩恵を受ける。
• 不規則な格子と非周期境界ではMP-PDEはスペクトル法を上回ることがあり、θPDEの特徴が提供されれば境界条件を越えて一般化できる。
• Navier–Stokes風の2D実験（PhiFlowデータ）では高次元への拡張性が示唆される。