[論文レビュー] Clifford Neural Layers for PDE Modeling

J. Brandstetter, Rianne van den Berg+2 more|arXiv (Cornell University)|Sep 8, 2022

Model Reduction and Neural Networks被引用数 21

ひとこと要約

この論文は、Clifford代数を用いて多ベクトル場上で作用するCliffordニューラル層を提案し、PDEの代替近似における場間の相互関係をよりよく捉え、Navier–Stokes、浅水、Maxwell方程式の一般化性能を向上させる。

ABSTRACT

Partial differential equations (PDEs) see widespread use in sciences and engineering to describe simulation of physical processes as scalar and vector fields interacting and coevolving over time. Due to the computationally expensive nature of their standard solution methods, neural PDE surrogates have become an active research topic to accelerate these simulations. However, current methods do not explicitly take into account the relationship between different fields and their internal components, which are often correlated. Viewing the time evolution of such correlated fields through the lens of multivector fields allows us to overcome these limitations. Multivector fields consist of scalar, vector, as well as higher-order components, such as bivectors and trivectors. Their algebraic properties, such as multiplication, addition and other arithmetic operations can be described by Clifford algebras. To our knowledge, this paper presents the first usage of such multivector representations together with Clifford convolutions and Clifford Fourier transforms in the context of deep learning. The resulting Clifford neural layers are universally applicable and will find direct use in the areas of fluid dynamics, weather forecasting, and the modeling of physical systems in general. We empirically evaluate the benefit of Clifford neural layers by replacing convolution and Fourier operations in common neural PDE surrogates by their Clifford counterparts on 2D Navier-Stokes and weather modeling tasks, as well as 3D Maxwell equations. For similar parameter count, Clifford neural layers consistently improve generalization capabilities of the tested neural PDE surrogates. Source code for our PyTorch implementation is available at https://microsoft.github.io/cliffordlayers/.

研究の動機と目的

• スカラー場とベクトル場が分離チャネルとしてではなく統一された多ベクトル場として相関をモデル化する動機付け。
• 場の成分間の幾何学的関係を捉えるClifford代数ベースのニューラル層を導入。
• Clifford畳み込みとCliffordフーリエ変換が、標準CNNやFNOと比較してPDEタスクの一般化を改善することを実証。

提案手法

• スカラー畳み込みを、入力場とフィルタの多ベクトル間の幾何積（Geometric/Clifford product）へ置換する。
• Cl(2,0)または同等の2DClifford畳み込みを定義し、多ベクトルの格子として出力を得る。
• 四元数回転表現を活用してベクトル部分を回転させることで回転Clifford CNNを導入。
• Cliffordフーリエ変換を多ベクトル場の双対成分に適用し、Clifford重み付きスペクトル混合を行うことでCliffordフーリエ変換層を定義。
• FNOや標準CNNアーキテクチャを模倣する2D（および3Dへの拡張）の離散実装を提供。
• Navier–Stokes、浅水、Maxwell方程式データセットで一ステップおよびマルチステップ（ロールアウト）損失で評価。

実験結果

リサーチクエスチョン

• RQ1 Clifford代数ベースの多ベクトル表現はPDE代替モデルにおけるスカラー場とベクトル場成分間の依存性をより良く符号化できるか。
• RQ2 Clifford畳み込みとCliffordフーリエ層は、従来のCNNやフーリエ型ニューラルオペレーターと比較して流体力学・電磁場タスクの一般化と安定性を向上させるか。
• RQ3 回転クラスタ相 Clifford層は非回転 Clifford層と比べて性能が良いか。
• RQ4 CliffordベースのPDE代替は2D Navier–Stokes、2D浅水、3D Maxwell方程式の全般性に適用可能か。

主な発見

• CliffordベースのResNet系（CResNetおよびCResNet_rot）はNavier–Stokesおよび浅水タスクで標準ResNetを上回る。
• Cliffordベースのフーリエネットワーク（CFNO）はデータセットと学習サイズを問わず標準FNOを上回る。
• タスクを跨ぐ結果として、Cliffordネットワークは同程度のパラメータ数でベースラインよりも1ステップおよびロールアウト損失が小さい。
• 回転Clifford CNN層は非回転の変種より一般に性能が良い。
• Maxwell方程式では、Cliffordフーリエ演算子変種（CFNO）は報告された設定でFNOに対して利点を示す。
• 実証的な結果は、スカラー場とベクトル場の結合が強いほどClifford表現の恩恵を受けやすいことを示唆。