[論文レビュー] Versor: A Geometric Sequence Architecture

Truong Minh Huy, Edward Hirst|arXiv (Cornell University)|Feb 10, 2026

Algebraic and Geometric Analysis被引用数 0

ひとこと要約

VersorはGeometric Product AttentionとRecursive Rotor Accumulatorを用いたCGAベースのシーケンスアーキテクチャを提案し、スケール一般化可能で解釈性が高くハードウェアにやさしいシーケンスモデリングを実現。いくつかのタスクでTransformersを上回る。

ABSTRACT

A novel sequence architecture is introduced, Versor, which uses Conformal Geometric Algebra (CGA) in place of traditional linear operations to achieve structural generalization and significant performance improvements on a variety of tasks, while offering improved interpretability and efficiency. By embedding states in the $Cl_{4,1}$ manifold and evolving them via geometric transformations (rotors), Versor natively represents $SE(3)$-equivariant relationships without requiring explicit structural encoding. Versor is validated on chaotic N-body dynamics, topological reasoning, and standard multimodal benchmarks (CIFAR-10, WikiText-103), consistently outperforming Transformers, Graph Networks, and geometric baselines (GATr, EGNN). Key results include: orders-of-magnitude fewer parameters ($200 imes$ vs. Transformers); interpretable attention decomposing into proximity and orientational components; zero-shot scale generalization (0.993 vs. 0.070 MCC for ViT); and featuring a Recursive Rotor Accumulator (RRA) for $O(L)$ linear temporal complexity in dynamical systems, and a Geometric Product Attention (GPA) mechanism for $O(L^{2})$ global relational modeling, allowing for task-specific architectural pruning or hybridization depending on the required scale. In out-of-distribution tests, Versor maintains stable predictions while Transformers fail catastrophically. Custom Clifford kernels achieve a cumulative over $100 imes$ speedup via bit-masked contraction and specialized Matrix Isomorphism kernels, reducing per-step latency to 1.05 ms and outperforming highly-optimized Transformer baselines.

研究の動機と目的

• embedding symmetry priorsをシーケンスモデルへ直接組み込み、“Euclidean Bottleneck”を克服する動機付け。
• Cl4,1で動作するCGAベースのシーケンスアーキテクチャを提案し、SE(3)-等価な関係をモデル化。
• 標準Transformersおよび幾何ベースのベンチマークと比較して、スケール一般化、解釈性、効率性を示す。
• 混沌としたダイナミクス、トポロジー、視覚、言語タスクを跨ぐマルチモーダル能力を示す。

提案手法

• アテンションをスカラー（近接）とバイベクター（向き）成分に分解するGeometric Product Attention（GPA）を導入。
• Spin(4,1)多様体上の状態進化を用いてO(L)の時間的計算複雑度を達成するRecursive Rotor Accumulator（RRA）を開発。
• ドリフトを防ぎ長期ホライズンのダイナミクスを安定化させるため、Manifold Normalizationによる多様体制約を適用。
• Clifford積の計算を高速化するためのビットマスク付きと行列同型のハードウェア最適化Cliffordカーネルを利用。
• 次元適応Clifford代数と将来のGAPUハードウェア提案の可能性を示すソフトウェア構成（gacore）。

Figure 1 : The Versor Architecture. (Left) Geometric Product Attention (GPA). (Right) The Recursive Rotor Accumulator (RRA).

実験結果

リサーチクエスチョン

• RQ1 Conformal Geometric Algebraは明示的な構造エンコーディングなしにSE(3)-等価なシーケンスモデリングを可能にするか。
• RQ2 CGAベースのアーキテクチャはスケールと密度を越えて一般化し、長期ホライズンや分布外設定で性能を維持するか。
• RQ3 GPAのスカラーとバイベクター成分は、ダイナミックタスクにおける学習された近接性と向き合いの相互作用とどのように関連するか。
• RQ4 Recursive Rotor Accumulatorは数値安定性を保ちながら線形時間の再帰を達成できるか（混沌系での動作も含む）。
• RQ5 Cliffordベースのシーケンスモデルの実用的な待ち時間とパラメータ効率を達成するために必要なハードウェア・ソフトウェア最適化は何か。

主な発見

• VersorはTransformerに比べてパラメータが数桁低く（約200倍少ない）、タスク全般で競合または優れた性能を達成。
• Geometric Product Attentionは近接性（スカラー）と向き（バイベクター）成分に分解され、解釈可能な相互作用法則を実現。
• Versorはゼロショットのスケール一般化を達成し、トポロジカル連結性タスクでMCCが0.993に対してViTは0.070。
• Recursive Rotor AccumulatorはO(L)推論とO(1)メモリを提供し、何千ステップにも及ぶ長期ホライズンダイナミクスを可能に。
• カスタムCliffordカーネルは概ね100倍の総合的なスピードアップと約1.05 msのエンドツーエンド待ち時間を達成し、最適化されたTransformerベースラインを上回る。
• 分布外のテストではVersorは安定を保ち、Transformerベースラインは壊滅的に失敗する可能性がある。

Figure 2 : Geometric Attention Decomposition: Separating Force from Torque. Points labeled B0–B4 represent the 5 gravitationally-interacting bodies; B0 is the focal body for this visualization. The axes ( $x_{1}$ , $x_{2}$ ) are the 2D physical coordinates of the simulation. Line weights are proport