[論文レビュー] Clifford Group Equivariant Neural Networks

David Ruhe, J. Brandstetter+1 more|arXiv (Cornell University)|May 18, 2023

Advanced Neuroimaging Techniques and Applications被引用数 9

ひとこと要約

この論文は、Clifford Group Equivariant Neural Networks (CGENNs) が Clifford group が全 Clifford algebra 上で作用することを活用することにより O(n) および E(n) 同変性を達成し、次数計算、階投影、幾何積ベースのニューラル層を通じて次元を超えて一般化することを可能にする、を提案します。

ABSTRACT

We introduce Clifford Group Equivariant Neural Networks: a novel approach for constructing $\mathrm{O}(n)$- and $\mathrm{E}(n)$-equivariant models. We identify and study the $ extit{Clifford group}$, a subgroup inside the Clifford algebra tailored to achieve several favorable properties. Primarily, the group's action forms an orthogonal automorphism that extends beyond the typical vector space to the entire Clifford algebra while respecting the multivector grading. This leads to several non-equivalent subrepresentations corresponding to the multivector decomposition. Furthermore, we prove that the action respects not just the vector space structure of the Clifford algebra but also its multiplicative structure, i.e., the geometric product. These findings imply that every polynomial in multivectors, An advantage worth mentioning is that we obtain expressive layers that can elegantly generalize to inner-product spaces of any dimension. We demonstrate, notably from a single core implementation, state-of-the-art performance on several distinct tasks, including a three-dimensional $n$-body experiment, a four-dimensional Lorentz-equivariant high-energy physics experiment, and a five-dimensional convex hull experiment.

研究の動機と目的

• 幾何学および物理問題のためのニューラルネットワークにおける対称性と同変性の動機づけ。
• Clifford algebra ベースのフレームワークを開発し、Clifford group の下で同変写像を得る。
• 多元ベクトルにおける多項式と階投影がClifford group 同変であり、ニューラル層でパラメータ化できることを示す。
• Clifford group の作用を respects する CGENN 層（線形、幾何積、ゲート付き非線形性）を構築・評価する。
• 任意の次元および計量符号へ一般化し、O(n) および E(n) 同変性を実現する。

提案手法

• Cl(V,q) とその階成分を Cl^(m)(V,q) に分解し、dim Cl^(m)=binomial(n,m) を用いて定義する。
• Clifford group Γ(V,q) を導入し、代数自己同型として作用する調整済み twisted conjugation ρ(w) を導入する。
• ρ(w) が階を保存し、拡張された二次形式を保つことを示し、階投影と多項式を同変にする。
• steerable 基底で multivector 入力を用いてニューラル層をパラメータ化し、線形および幾何積ベースの変換を可能にする。
• 数値安定性を維持しつつ同変性を保つために正規化と適切な非線形性を用いる。
• データを scalars および vectors を介して Cl(V,q) に埋め込み、階投影による予測（スカラーまたはベクトル）を出力として得る。

実験結果

リサーチクエスチョン

• RQ1 Clifford-group の全 Clifford 代数上の作用は、球面調和基底や Clebsch–Gordan 係数に頼らず、実用的な O(n) または E(n) 同変ニューラルネットワークを生み出すことができるのか。
• RQ2 multivector の多項式と階投影は、同変層の密で表現力のある、次元に依存しないパラメータ化を提供するのか。
• RQ3 CGENN 層は、幾何学的・物理的な不変性が求められるタスク（例：n-body ダイナミクス、Lorentz 同変物理学、高次元凸包など）において、既存の同変アーキテクチャとどのように比較されるのか。
• RQ4 現実的な層設計（線形、幾何積、全結合積層）と正規化スキームは、実践で Clifford-group 同変性を保つのに有効か。

主な発見

• CGENNs は、3D n-body ダイナミクス、4D Lorentz同変高エネルギー物理、5D 凸包問題などの多様なタスクで最先端の性能を達成する。
• すべての階投影は Clifford-group 同変であり、 multivector の多項式による密で表現力のあるパラメータ化を可能にする。
• Clifford-group の作用は全 Clifford 代数へ自然に拡張され、各階で直交表現を生み出し、テンソルト積の明示的構築を回避する。
• フレームワークは任意の次元と計量符号に対して O(n) および E(n) 同変性へ一般化可能で、Clebsch–Gordan 係数や代替基底を必要としない。
• 実験結果は CGENNs が体積関連のタスクでスカラー化ベースラインを上回ることを示し、データが非常に少ない領域ではデータ効率に留意が必要。
• このアプローチは特殊な幾何学的対象物（例：疑ベクトル） のモデリングを可能にし、幾何積を通じた乗法的構造を保つことで表現力を豊かにする。