[論文レビュー] PDEformer: Towards a Foundation Model for One-Dimensional Partial Differential Equations

Zhanhong Ye, Xiang Huang+4 more|arXiv (Cornell University)|Feb 20, 2024

Numerical methods for differential equations被引用数 4

ひとこと要約

PDEformerは、PDEの記号的表現を計算グラフとして表現し、グラフTransformerと暗黙的ニューラル表現（INR）を組み合わせることで、メッシュフリーな解を生成するための基礎モデルを提案する。多様なPDEで事前学習されたことで、ベンチマークデータセットにおける優れたゼロショット精度を達成し、ノイズがある状況下でも強力な逆係数回復性能を示す。

ABSTRACT

This paper introduces PDEformer, a neural solver for partial differential equations (PDEs) capable of simultaneously addressing various types of PDEs. We propose to represent the PDE in the form of a computational graph, facilitating the seamless integration of both symbolic and numerical information inherent in a PDE. A graph Transformer and an implicit neural representation (INR) are employed to generate mesh-free predicted solutions. Following pretraining on data exhibiting a certain level of diversity, our model achieves zero-shot accuracies on benchmark datasets that is comparable to those of specifically trained expert models. Additionally, PDEformer demonstrates promising results in the inverse problem of PDE coefficient recovery.

研究の動機と目的

• 多様なPDEタイプにわたるゼロショット推論が可能な、一般化可能な1次元PDE用の基礎モデルの開発。
• PDEの記号的（PDE形式）および数値的（係数、初期・境界条件）情報を、統一されたニューラルアーキテクチャ内でシームレスに統合すること。
• 最小限のファインチューニングで、新しいPDEに対する効果的な転移学習と少数ショット適応を可能にすること。
• ノイズのある観測値が与えられた場合でも、係数回復などの逆問題において優れた性能を示すこと。
• 前方解予測を越える、下流のPDEタスクにスケーラブルかつ一般化可能なフレームワークの確立。

提案手法

• PDEの記号的PDE形式を、異種のノードタイプ（例：未知関数、係数、初期条件、演算）を持つ有向非巡回計算グラフとして表現する。
• 各ノードに特徴ベクトルを割り当てる：スカラー係数は特徴次元にわたって繰り返され、初期条件はパッチに分割されて埋め込まれる。
• 計算グラフの構造的および特徴的情報をエンコードするために、グラフTransformerを用いる。
• 空間的・時間的連続なメッシュフリーな解を予測するために、暗黙的ニューラル表現（INR）を採用する。
• 一般のPDEパターンとダイナミクスを学習するため、多様な1次元PDEでモデルを事前学習する。
• PDE形式そのものまたは少数の解スナップショットを用いて、新しいPDEに対してファインチューニングまたはゼロショット推論を実行する。

Figure 1: PDEformer architecture, taking $\mathcal{F}(u,c)=u_{t}+cu_{x}$ as the example.

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルモデルが、タスク固有のファインチューニングなしに、多様な1次元PDEにわたって高いゼロショット精度を達成できるか？
• RQ2 多様な事前学習分布で学習した基礎モデルが、未観測のPDEタイプにどの程度一般化できるか？
• RQ3 逆問題において、ノイズのある解観測から未知のPDE係数をどの程度正確に回復できるか？
• RQ4 計算グラフを通じた記号的および数値的情報の統合が、純粋に数値的または言語モデルベースのアプローチと比較して、一般化性能をどの程度向上させるか？
• RQ5 従来の数値解法や専門家向けニューラルオペレータと比較して、推論速度と精度のトレードオフはどのようになるか？

主な発見

• PDEformerは1次元移流方程式において、相対$L^2$誤差0.0075を達成し、FNO（0.0097）およびDeepONet（0.0187）を上回るゼロショット推論性能を示した。
• モデルは、適切に訓練された専門家モデルを上回るゼロショット精度をベンチマークデータセットで達成し、強力な一般化性能を示した。
• 逆係数回復において、$r = 0.1$までのノイズレベルでも高い精度で係数を回復でき、大多数のケースで相対誤差が5％未満だった。
• ノイズレベルが変化しても一貫した性能を維持し、ノイズが存在する状況でも予測解が真値観測と密接に一致した。
• PDEformerの1サンプルあたりの推論時間は1つのNPUで8.76msであり、従来の解法（FD：2072.3ms、Dedalus：410.8ms）よりも顕著に高速だった。
• 逆問題における40個のランダムなPDEサンプルにおいて、モデルの性能は安定しており、複数のPDE形式にわたって一貫した回復精度を示した。

(a)