[論文レビュー] ZeroS: Zero-Sum Linear Attention for Efficient Transformers

Jiecheng Lu, Xu Han+5 more|arXiv (Cornell University)|Feb 5, 2026

Stochastic Gradient Optimization Techniques被引用数 0

ひとこと要約

ZeroS はソフトマックスのゼロ階項を取り除くゼロ和線形アテンションを導入し、負の重みとコントラスト的トークン相互作用を許容しつつ O(N) の複雑さを維持する。ベンチマーク全体で softmax アテンションと同等以上を達成。

ABSTRACT

Linear attention methods offer Transformers $O(N)$ complexity but typically underperform standard softmax attention. We identify two fundamental limitations affecting these approaches: the restriction to convex combinations that only permits additive information blending, and uniform accumulated weight bias that dilutes attention in long contexts. We propose Zero-Sum Linear Attention (ZeroS), which addresses these limitations by removing the constant zero-order term $1/t$ and reweighting the remaining zero-sum softmax residuals. This modification creates mathematically stable weights, enabling both positive and negative values and allowing a single attention layer to perform contrastive operations. While maintaining $O(N)$ complexity, ZeroS theoretically expands the set of representable functions compared to convex combinations. Empirically, it matches or exceeds standard softmax attention across various sequence modeling benchmarks.

研究の動機と目的

• 線形アテンションアプローチにおける凸性と一様重みバイアスに関する根本的な限界を特定する。
• 負の重みとコントラスト更新をサポートする線形時間アテンション機構を開発する。
• ZeroS が多様な系列モデリングタスクで softmax アテンションと同等以上を達成できることを示す。
• ゼロ和アテンションの定式化における安定性と表現力に関する理論的保証を提供する。

提案手法

• softmax からゼロ階項 (1/t) を取り除き残差を再重み付けしてゼロ和重みを得ることで ZeroS を提案する。
• 大きさと方向を分離して半径-角度のデカップリングを導入し、1次と高次の softmax 残差に学習ゲートを適用した後、符号付き cos(θ) 成分を再導入する。
• 2つのゲートが1次成分と高次成分を制御する再重み付けゼロ和 softmax を定式化し、前方和を用いた線形時間計算を可能にする。
• アテンション重量の角度情報を取り込みゼロ和特性を維持するために RoPE（Rotary Position Embedding）を組み込む。
• 分離可能なロジットと prefix-sum ベースの計算により O(N d^2) 時間と O(d^2) メモリを維持し、効率的なトレーニングと推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 softmax のゼロ階項を除去しても負値を許容する数値的に安定で表現力のあるゼロ和重みを得られるか。
• RQ2 ZeroS は線形時間のアテンションを実現しつつ、多様なタスクで標準的な softmax アテンションの性能と同等以上を達成できるか。
• RQ3 放射状-角度のデカップリングとゲーティングは線形アテンションの表現力と安定性にどのように影響するか。
• RQ4 ZeroS を RoPE と効果的に統合してアテンションの角度的相互作用を維持できるか。
• RQ5 MAD、WikiText、画像分類、時系列予測などのベンチマークで ZeroS が得る実証的な利得はどの程度か。

主な発見

• ZeroS は複数のベンチマークで標準的 softmax アテンションと同等以上を達成しつつ線形時間計算を維持する。
• ゼロ階項の除去により負の重みと対照的なトークン相互作用を安定性を損なうことなく可能にする。
• 放射状-角度デカップリングとゲーティングは凸結合を超える表現力を高め、高次のトークン相互作用を実現する。
• ZeroS は MAD、WikiText-103、ImageNet-1k スタイルのタスク、時系列データセットでも他の線形アプローチと比べて競争力が高いまたは優れている。
• アブレーション研究ではゼロ階項の再導入が一部の文脈依存タスクを妨げる可能性があること、ゲーティングと正規化が安定性と性能に寄与することを示している。