[論文レビュー] Transformer for Partial Differential Equations' Operator Learning

Zijie Li, Kazem Meidani+1 more|arXiv (Cornell University)|May 26, 2022

Model Reduction and Neural Networks被引用数 46

ひとこと要約

本論文は OFormer を提案する。これは data-driven な PDE 解法オペレータの学習のための注意機構ベースの Operator Transformer であり、 discretization-invariant querying のための cross-attention と time-dependent PDEs を扱うための latent-time marching を備える。

ABSTRACT

Data-driven learning of partial differential equations' solution operators has recently emerged as a promising paradigm for approximating the underlying solutions. The solution operators are usually parameterized by deep learning models that are built upon problem-specific inductive biases. An example is a convolutional or a graph neural network that exploits the local grid structure where functions' values are sampled. The attention mechanism, on the other hand, provides a flexible way to implicitly exploit the patterns within inputs, and furthermore, relationship between arbitrary query locations and inputs. In this work, we present an attention-based framework for data-driven operator learning, which we term Operator Transformer (OFormer). Our framework is built upon self-attention, cross-attention, and a set of point-wise multilayer perceptrons (MLPs), and thus it makes few assumptions on the sampling pattern of the input function or query locations. We show that the proposed framework is competitive on standard benchmark problems and can flexibly be adapted to randomly sampled input.

研究の動機と目的

• 問題固有の帰納バイアスなしに PDE 解法オペレータのデータ駆動学習を動機づける。
• 任意の入力/クエリ離散化を柔軟に扱う注意ベースのフレームワークを提案する。
• 潜在時間マ marching を導入し、時間依存 PDE の効率的なモデリングを実現する。
• 時間発展 PDE を潜在空間で処理できるようにし、メモリと計算要求を削減する。

提案手法

• 入力関数サンプルから出力関数クエリへのオペレータ写像を学習するために自己注意とクロス注意を点ごとの MLP と組み合わせて用いる。
• クロスアテンション機構を採用し、入力格子と任意のクエリ位置を分離する。
• 残差 MLP 推進子により潜在空間でダイナミクスを伝搬し、物理空間へデコードする潜在時間マ marching を実装する。
• RoPE ロータリーポジショナルエンコーディングを取り入れ、アテンションに相対的な空間情報を注入する。
• 格子離散化が異なる入力/出力にも対応できるよう、離散化格子上の各ステップ損失で訓練する。

実験結果

リサーチクエスチョン

• RQ1 クロス注意は、離散化に不変なクエリで PDE 解法オペレータを学習できるか。
• RQ2 潜在時間 marching を用いて、全時空 ujstantiation を伴わずに時間依存 PDE を効率的にモデル化できるか。
• RQ3 クロスアテンションにより、入力格子とは独立して任意の出力座標での柔軟なクエリを可能にできるか。
• RQ4 RoPE ベースの位置エンコーディングは PDE オペレータ学習における空間認識を向上させるか。
• RQ5 OFormer は標準的な PDE ベンチマークと不規則格子上で、最先端のオペレータ学習手法と比較してどの程度優れているか。

主な発見

• 標準 PDE ベンチマークにおいて、OFormer は複数の問題で最先端のオペレータ学習法と競合する。
• モデルは入力/出力の離散化および格子解像度の変化に対して堅牢な性能を示す。
• Navier–Stokes のような複雑な問題においてデータ量が多い領域で特に良い性能を発揮し、他のベースラインよりも少ないパラメータで同等の精度を達成する。
• クロスアテンションにより、入力格子に依存せず任意の座標で出力をクエリ可能になる。
• RoPE に基づく位置エンコーディングは PDE コンテキストでの空間関係の符号化能力を高める。