[論文レビュー] Learning time-dependent PDE solver using Message Passing Graph Neural Networks

Pourya Pilva, Ahmad Zareei|arXiv (Cornell University)|Apr 15, 2022

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本稿では、効率的で正確かつ一般化可能な時間依存偏微分方程式（PDE）解法のためのメッセージパッシンググラフニューラルネットワーク（MPGNN）フレームワークを提案する。PDEデータをドメイン不変特徴量で符号化し、非構造的メッシュをグラフとして表現することで、MPGNNは空間的に局所的で置換同変な更新則を学習し、異なる幾何構造やメッシュ解像度に一般化可能となる。再帰的アーキテクチャにより、長期予測が安定して達成される。

ABSTRACT

One of the main challenges in solving time-dependent partial differential equations is to develop computationally efficient solvers that are accurate and stable. Here, we introduce a graph neural network approach to finding efficient PDE solvers through learning using message-passing models. We first introduce domain invariant features for PDE-data inspired by classical PDE solvers for an efficient physical representation. Next, we use graphs to represent PDE-data on an unstructured mesh and show that message passing graph neural networks (MPGNN) can parameterize governing equations, and as a result, efficiently learn accurate solver schemes for linear/nonlinear PDEs. We further show that the solvers are independent of the initial trained geometry, i.e. the trained solver can find PDE solution on different complex domains. Lastly, we show that a recurrent graph neural network approach can find a temporal sequence of solutions to a PDE.

研究の動機と目的

• 再訓練を必要とせずに、異なる物理的ドメインやメッシュ離散化に一般化するニューラルPDE解法を開発すること。
• 固定ドメインや離散化に制限される既存のディープラーニング解法の限界を克服すること。
• グラフニューラルネットワークを活用し、古典的PDE解法の離散的更新則を、物理的対称性を保持する形で学習すること。
• 再帰的MPGNNアーキテクチャを用いて、PDE解の時間的逐次予測を可能にすること。
• 訓練済みMPGNNを通じて、解釈可能な記号的離散化カーネルを学習する可能性を調査すること。

提案手法

• 非構造的メッシュ上にPDEデータをグラフとして表現し、ノードを空間的位置、エッジを近隣関係に対応させる。
• 古典的PDE解法から導出されるドメイン不変特徴量を導入し、物理的一致性と一般化性能を向上させる。
• メッセージパッシングGNNを用いて、各ノードの更新則をその近隣に基づいて学習し、有限差分または有限体積法に類似させる。
• 相対的位置（絶対座標ではなく）に基づくエッジ特徴量を組み込むことで、並進および回転不変性を確保する。
• 時間発展する解を予測するために、時間軸に沿ってメッセージパッシングステップを積み重ねる再帰的MPGNNアーキテクチャを適用する。
• 訓練ドメインにおける予測値と真値の平均二乗誤差を最小化する損失関数を用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 メッセージパッシングGNNは、異なる幾何構造に一般化可能な正確で安定した時間依存PDE解法を学習できるか？
• RQ2 絶対座標ではなく相対的位置特徴量を用いることで、未観測ドメインや解像度への一般化が向上するか？
• RQ3 再帰的MPGNNアーキテクチャは、PDE解の長期的時間的逐次予測を効果的に実行できるか？
• RQ4 従来のGNNベースPDE解法と比較して、学習済み解法は非構造的メッシュおよび変動するメッシュ解像度においてどのように性能を発揮するか？
• RQ5 学習済み更新則は、記号的回帰によって解釈可能または近似可能か？これにより新たな数値解法が発見可能か？

主な発見

• 訓練データと同じ幾何構造・解像度でテストした際、提案手法のMPGNNはMSE 1.49e-6を達成し、既存手法を上回るドメイン内性能を示した。
• 低解像度の未観測幾何構造でも、MSE 9.87e-3を達成し、ベースライン手法（1.47e1）を著しく上回り、強力な一般化性能を示した。
• 低解像度データで学習したモデルが、異なるドメインの高解像度メッシュに一般化した際、MSE 5.34e-3を達成し、解像度変化に対して高いロバストネスを示した。
• 相対的位置特徴量とReLU活性化関数の使用により、絶対座標とtanhを用いたモデルと比較して一般化性能が向上した。
• 再帰的MPGNNは複数の時間ステップにわたるPDEの時間発展を効果的に予測でき、長期的時間シミュレーションの能力を確認した。
• 多様なメッシュタイプや幾何構造において、モデルの性能は安定しており、ドメインおよび離散化不変性が裏付けられた。