[論文レビュー] Dissecting Linear Recurrent Models: How Different Gating Strategies Drive Selectivity and Generalization

Younes Bouhadjar, Maxime Fabre+2 more|arXiv (Cornell University)|Jan 18, 2026

Topic Modeling被引用数 0

ひとこと要約

本論文は SelectivBench を導入し、線形再帰メモリ（LRM）モデルの識別性と一般化を分解する軽量な合成ベンチマークを提供する。ゲーティング、急速忘却、チャンネル混合が識別性と一般化に与える影響を明らかにし、複数の LRM バリアントおよび Transformer との比較を行う。

ABSTRACT

Linear recurrent neural networks have emerged as efficient alternatives to the original Transformer's softmax attention mechanism, thanks to their highly parallelizable training and constant memory and computation requirements at inference. Iterative refinements of these models have introduced an increasing number of architectural mechanisms, leading to increased complexity and computational costs. Nevertheless, systematic direct comparisons among these models remain limited. Existing benchmark tasks are either too simplistic to reveal substantial differences or excessively resource-intensive for experimentation. In this work, we propose a refined taxonomy of linear recurrent models and introduce SelectivBench, a set of lightweight and customizable synthetic benchmark tasks for systematically evaluating sequence models. SelectivBench specifically evaluates selectivity in sequence models at small to medium scale, such as the capacity to focus on relevant inputs while ignoring context-based distractors. It employs rule-based grammars to generate sequences with adjustable complexity, incorporating irregular gaps that intentionally violate transition rules. Evaluations of linear recurrent models on SelectivBench reveal performance patterns consistent with results from large-scale language tasks. Our analysis clarifies the roles of essential architectural features: gating and rapid forgetting mechanisms facilitate recall, in-state channel mixing is unnecessary for selectivity, but critical for generalization, and softmax attention remains dominant due to its memory capacity scaling with sequence length. Our benchmark enables targeted, efficient exploration of linear recurrent models and provides a controlled setting for studying behaviors observed in large-scale evaluations. Code is available at https://github.com/symseqbench/selectivbench

研究の動機と目的

• 線形再帰メモリ（LRM）モデルの refined taxonomy を定義する。
• 合成タスクで選択性と一般化を体系的に評価するための SelectivBench を導入する。
• アーキテクチャ的特徴（ゲーティング、忘却、チャンネル混合）がタスク間の性能に与える影響を評価する。
• 制御された合成文法に対する Transformer ベースラインと比較して、LRM の memory および distractor 処理を理解する。

提案手法

• 要素ごとの状態更新とデータ依存ゲート（A_t, B_t, C_t）を用いて LRM を形式化する。
• 協調的な書き込み/読み出し挙動を研究するための complementary gating および input/readout gating を導入する。
• SymSeqBench を拡張して SelectivBench のタスクを追加し、ギャップ/ノイズと非文法トークンを挿入して選択性を探る。
• 操作難易度を変えるため、トポロジカルエントロピー（TE）を制御可能な人工文法シークエンスを用いる。
• 記憶、ノイズ排除、文脈依存の選択性、長さ一般化を測るタスクでモデルを評価する。
• DeltaNet、GLA、Mamba、Mamba2、ゲート付き Delta 派生、Transformer を含むクロスモデル比較を提供する。

実験結果

リサーチクエスチョン

• RQ1 LRM における異なるゲーティング戦略（ complementary gating を含む）は、選択性と記憶リコールにどのような影響を与えるか？
• RQ2 LRM におけるチャンネル混合はディストラクターの処理と長さに対する一般化にどのような役割を果たすか？
• RQ3 Synthetic SelectivBench タスクは、LRM と Transformer の大規模言語タスクで見られる性能傾向を再現できるか？
• RQ4 ノイズと非文法ギャップを伴う記憶集約タスクで、LRM は Transformer と比較してどうか？
• RQ5 ゲーティングと急速忘却機構はギャップへの頑健性と長さ一般化にどの程度寄与するか？

主な発見

モデル	# ゲートパラメータ	Nb. パラメ (M)	タスク1 精度	タスク2 精度	タスク3 精度
DeltaNet	d×N_heads + d^2	83	0.50 ± 0.01	0.41 ± 0.01	0.35 ± 0.001
GLA	~ d×16	87	0.75 ± 0.01	0.68 ± 0.05	0.50 ± 0.01
Mamba	2d×d_state + 8d^2/16	90 (71 in task 2)	0.89 ± 0.009	0.71 ± 0.01	0.63 ± 0.08
Mamba2	~ 2d×N_heads	85 (67 in task 2)	0.92 ± 0.007	0.67 ± 0.01	0.64 ± 0.01
Gated DeltaNet	2d_gate^2?	87	0.87 ± 0.01	0.76 ± 0.01	0.57 ± 0.008
Gated DeltaProduct	2d_gate^2?	82	0.87 ± 0.008	0.74 ± 0.02	0.61 ± 0.01
Transformer	-	78	0.86 ± 0.005	0.77 ± 0.01	0.67 ± 0.07

• ゲーティングと急速忘却機構は、すべてのタスクにおいて LRM のリコールを支援する。
• 状態内のチャンネル混合は選択性には必須でないが、一般化には重要である。
• Softmax アテンションは、拡張文脈を必要とする長期記憶タスクにおいて依然優れている。
• 補完的ゲーティングを持つ LRMs（例: Mamba/Mamba2）は、ディストラクターを含む選択性タスクで他を上回る。
• ゲート付き DeltaNet および Gated DeltaProduct は、長いギャップへの一般化が強く、チャンネル混合が記憶の頑健性を高めることを示唆している。
• Transformer はいくつかのタスクで優れた性能を示すが、長いギャップの外挿には苦戦し、非常に長い文脈での一般化ギャップを浮き彫りにする。