[論文レビュー] Group Equivariant Fourier Neural Operators for Partial Differential Equations

Jacob Helwig, Xuan Zhang+4 more|arXiv (Cornell University)|Jun 9, 2023

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本稿では、フーリエ変換の対称性の性質を活用することで回転、並進、反転に対して等長性を保つように拡張されたグループ等長フーリエニューラルオペレータ（G-FNO）を提案する。この手法により、解像度の変更に対しても一般化性能が向上し、物理的対称性を捉える能力が向上し、不完全な対称性下でも優れた性能を発揮する。ベースラインのFNOと比較して、テスト誤差が最大で3.5%低く抑えられ、超解像や回転不変性の面でも一貫した向上効果が得られた。

ABSTRACT

We consider solving partial differential equations (PDEs) with Fourier neural operators (FNOs), which operate in the frequency domain. Since the laws of physics do not depend on the coordinate system used to describe them, it is desirable to encode such symmetries in the neural operator architecture for better performance and easier learning. While encoding symmetries in the physical domain using group theory has been studied extensively, how to capture symmetries in the frequency domain is under-explored. In this work, we extend group convolutions to the frequency domain and design Fourier layers that are equivariant to rotations, translations, and reflections by leveraging the equivariance property of the Fourier transform. The resulting $G$-FNO architecture generalizes well across input resolutions and performs well in settings with varying levels of symmetry. Our code is publicly available as part of the AIRS library (https://github.com/divelab/AIRS).

研究の動機と目的

• 標準的なフーリエニューラルオペレータ（FNO）が入力解像度の変更に対して一般化できないという限界を解消すること。
• 空間群作用（回転、反転、並進）におけるフーリエ変換の等長性を活用し、周波数ドメインに等長性を組み込む層を設計すること。
• 物理的対称性（特に回転、反転、並進）を含む、対称性の度合いが異なるPDEに対して、モデルの一般化性能、サンプル効率、性能を向上させること。
• 周波数ドメインにおける内在的等長性を活用し、ゼロショット超解像および幾何変換（例：回転）に対してロバストな性能を実現すること。
• 周波数ドメインにおける等長性が、データ拡張や局所的な誘導的バイアスのみに依存する手法よりも優れた一般化性能をもたらすことを示すこと。

提案手法

• 空間群作用（回転、反転、並進）におけるフーリエ変換の等長性を活用し、対称性を保つ周波数ドメイン層を設計する。
• 群畳み込み理論を周波数ドメインに拡張し、可学習カーネルを周波数ドメインでパrameter化しながら、E(2)およびE(3)の完全なユークリッド群に対して等長性を維持する。
• G-Fourier層を構築し、学習可能なスペクトルフィルタを用いてグローバル畳み込みを実行することで、すべての空間周波数にわたる効率的なマルチスケール処理を可能にする。
• 群表現へのフーリエ変換の作用の分解を用い、対称操作下でのネットワーク内部表現の予測可能な変換を保証する。
• 対称性群の作用に対して等長性を保つように制約を課した可学習スペクトルカーネルを採用し、入力の変換が出力にも同じ変換として反映されることを保証する。
• U-Netに類似したアーキテクチャにG-Fourier層を統合し、標準的なバックプロパゲーションによるエンドツーエンド学習と、FFTを用いた高速推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 空間ドメインから周波数ドメインへと群等長性を効果的に拡張できるか？
• RQ2 周波数ドメインに明示的な対称性不変性を組み込むことで、入力解像度の変更に対する一般化性能が向上し、サンプルの複雑さが低減するか？
• RQ3 ナビエ-ストークス方程式（球対称性の欠如）のような、不完全または破壊されたグローバル対称性を有するPDEに対して、G-FNOはどのように性能を発揮するか？
• RQ4 ゼロショット超解像および幾何変換へのロバストネスにおいて、G-FNOは標準FNOやデータ拡張ベースラインをどの程度上回るか？
• RQ5 G-Fourier層は3次元PDEや非正方形領域（例：不規則な領域における浅水域方程式）にも一般化可能か？

主な発見

• ナビエ-ストークス方程式および浅水域方程式の両方において、2次元および3次元の全設定でG-FNOが最小のテストロールアウト誤差を達成し、NSデータセットではベースラインFNOの誤差を3.5%以上低減した。
• NS-symデータセットでは、4つの設定のうち3つでG-FNOが最も低い超解像誤差を記録し、2次元モデルでは補間ベースの細分化手法よりも誤差が低かった。
• テスト入力に90°反時計回転を加えても、G-FNOは誤差に変化がなく、真の等長性を示した。これに対してデータ拡張モデルでは同様の性能は得られなかった。
• グローバル対称性を欠くNSデータセットでも、G-FNOはベースラインFNOと比較して2%以上の一般化性能の向上を示し、局所的対称性の誘導的バイアスの有効性を裏付けた。
• 3次元浅水域設定では、高い誤差（>40%）を示すにもかかわらず、G-FNOはベースライン中で2位を記録し、粗い時間離散化や滑らかでない力学的挙動に対してもロバストであることを示した。
• 径路的核が径路的解に一致するため、radialFNOはSWE-symで最も優れた性能を示したが、G-FNOは非径路的ケースへの一般化性に優れており、群等長性の広範な有用性を示した。