[論文レビュー] Geometric Clifford Algebra Networks

David Ruhe, Jayesh K. Gupta+3 more|arXiv (Cornell University)|Feb 13, 2023

Algebraic and Geometric Analysis被引用数 11

ひとこと要約

GCANs は geometric (Clifford) algebra を group-action layers と組み合わせて動的システムをモデル化し、Pin/Spin 群作用の線形結合を学習することによって、剛体変換および大規模な流体力学タスクで性能を向上させる。

ABSTRACT

We propose Geometric Clifford Algebra Networks (GCANs) for modeling dynamical systems. GCANs are based on symmetry group transformations using geometric (Clifford) algebras. We first review the quintessence of modern (plane-based) geometric algebra, which builds on isometries encoded as elements of the $\mathrm{Pin}(p,q,r)$ group. We then propose the concept of group action layers, which linearly combine object transformations using pre-specified group actions. Together with a new activation and normalization scheme, these layers serve as adjustable $ extit{geometric templates}$ that can be refined via gradient descent. Theoretical advantages are strongly reflected in the modeling of three-dimensional rigid body transformations as well as large-scale fluid dynamics simulations, showing significantly improved performance over traditional methods.

研究の動機と目的

• Geometric Clifford Algebra Networks を幾何学に導かれたニューラルテンプレートとして動的システムに導入する。
• 幾何代数を活用して変換を Pin( p,q,r ) アクションとしてエンコードし、それらをサンドイッチ積で組み合わせる。
• ベクトル空間の構造を保持する新しい非線形活性化と正規化を備えた群作用層を提案する。
• 3D の剛体変換および大規模な流体力学 PDE 近似解における利点を実証する。

提案手法

• 群作用層を定義し、幾何代数要素上の事前に規定された群作用を線形に結合する。
• 回転やその他の等長変換をエンコードするために Spin( p,q,r ) 要素とのサンドイッチ積を用いて変換を表現する。
• Multivector Sigmoid Linear Unit (MSiLU) と群正規化スキームを導入し、k-ベクトル構造を保持する。
• GCA 線形層を用いて、入力が k-ベクトルから出力も同様に k-ベクトルになるようにし、幾何学性を保持する変換を可能にする。
• GCANs を MLPs および GNNs に適用して Tetris 軌跡をモデル化し、従来のベースラインと比較する。
• GCANs を GCA-CNNs に拡張して、浅水と Navier–Stokes の文脈で PDE 近似解を扱う。

実験結果

リサーチクエスチョン

• RQ1 GCANs は幾何代数にエンコードされた事前に規定された群作用を組み合わせることによって、幾何学的変換を学習できるか？
• RQ2 GCANs は幾何学的構造を持つ動的システムに対して、従来のネットワークと比べて一般化と最適化効率を改善するか？
• RQ3 群作用層はベクトル空間の等級（k-ベクトル）を保持し、出力の幾何変換の解釈性を向上させるか？
• RQ4 GCANs は標準的なベースラインと比べて、剛体運動タスクおよび大規模な流体力学 PDE 近似解でどの程度の性能を示すか？
• RQ5 GCANs は大規模アーキテクチャ（例：UNet）へスケールしても、幾何学的保証を維持できるか？

主な発見

• GCANs は 3D の剛体 Tetris 軌道タスクにおいて、基準の MLP および一部の等変モデルを上回る。
• GCA-GNNs with GCAN メッセージ伝搬は、グラフサイズの変化や速度入力を伴う状況で基準を上回る。
• GCA-UNets は浅水 PDE 近似解で標準 UNet を大きく上回り、学習データが多いほど利得が大きい。
• GCANs は低データ領域での一般化を改善する強い帰納的バイアスを提供し、データが豊富な場合には効率的な最適化を可能にする。
• Rotational Clifford layers は GCANs の近い事例として位置づけられ、幾何学的テンプレートアプローチを後押しする。