[論文レビュー] SpiralFormer: Looped Transformers Can Learn Hierarchical Dependencies via Multi-Resolution Recursion
tldr: SpiralFormer はループ化 Transformers に多解像度再帰を導入し、階層的でスケール依存の依存関係を可能にし、160M–1.4B のスケール全体でループ済みおよび非ループ基準よりも効率を改善します。
Recursive (looped) Transformers decouple computational depth from parameter depth by repeatedly applying shared layers, providing an explicit architectural primitive for iterative refinement and latent reasoning. However, early looped Transformers often underperform non-recursive baselines of equal compute. While recent literature has introduced more effective recursion mechanisms to mitigate this gap, existing architectures still operate at a fixed, full-token resolution, neglecting the potential efficiency of computing over compressed latent representations. In this paper, we propose SpiralFormer, a looped Transformer that executes recurrence under a multi-resolution recursion schedule. We provide probing evidence that multi-resolution recursion enables the model to learn hierarchical dependencies by inducing iteration-wise functional specialization across different scales. Empirically, SpiralFormer achieves better parameter and compute efficiency than both looped and non-looped baselines across model scales from 160M to 1.4B, establishing sequence resolution as a potential axis for scaling recursive architectures.
研究の動機と目的
- 多解像度再帰がループ型 Transformers に階層的依存関係を学習させるかを調査する。
- Token を潜在スロットに圧縮し、再帰内で解像度を跨いで動作する SpiralFormer を開発する。
- 粗から細へ共通コア再帰が、全解像度ループよりも計算/パラメータ効率を改善することを示す。
- モデル規模（160M–1.4B）全般で、多解像度再帰が性能と効率を改善する実証的証拠を提供する。
提案手法
- Middle-cycle アーキテクチャを採用し、プレ/ループ/ポストブロックと共有ループコアを用いる。
- 共通コアで処理するためにチャンクレベルの潜在表現へダウンサンプリングし、再度トークン長へアップサンプリングして、右シフトによる厳密な自己回帰因果性を導入する、という多解像度再帰を導入する。
- 反復中の有効シーケンス長 L_t を変える解像度スケジュール {r_t} を定義する。
- MeSH または Anchor トポロジ更新を用いて各反復の更新を実行状態に融合する。
- チャンク化、オフセット、アテンションベースの下/上スケーリング機構を用いた因果的なダウン/アップスケーリングを実装する。
- Pythia 系列の前処理デコーダー風 Transformer を用いて予訓練を評価し（160M–1.4B）、Baseline および LoopedFormer と計算資源とパラメータ予算の観点で比較する。
実験結果
リサーチクエスチョン
- RQ1多解像度再帰は、全解像度のループでは捉えられない階層的依存関係をループ型 Transformers に学習させるか。
- RQ2圧縮潜在表現上で動作する共通コアは、伝統的なループ型または非ループ型アーキテクチャよりもパラメータと計算効率を改善できるか。
- RQ3解像度スケジュールはモデルの性能とスケーリング挙動にどのような影響を与えるか。
- RQ4spiralFormer における再帰比率は検証損失と容量にどのような影響を及ぼすか。
- RQ5解像度が増すにつれてループ反復間の注意パターンは整合的にシフトし、階層的推論を示すか。
主な発見
| Model | Config | Params (M) (Total/Non-Emb) | FLOPs (1e12) (4096 Prefill) | Perplexity ↓ | Task Acc ↑ | 0-shot | 5-shot | Pile | Wiki | LD-O | LD-S |
|---|---|---|---|---|---|---|---|---|---|---|---|
| Pythia-160M | Baseline (Pythia) | 163.5 / 85.1 | 1.65 | 11.31 | 30.32 | 42.86 | 175.62 | 39.88 | 40.54 | ||
| LoopedFormer * | 2+4×{1,1}+2 | 135.2 / 56.7 | 1.65 | 11.63 | 31.69 | 50.38 | 195.11 | 38.81 | 40.15 | ||
| LoopedFormer † | 2+4×{1,1}+2 | 135.2 / 56.7 | 1.65 | 11.37 | 30.43 | 46.60 | 178.77 | 39.41 | 40.60 | ||
| SpiralFormer-B † | 2+4×{1/8,1/4,1/2,1}+2 | 135.2 / 56.8 | 1.48 | 11.29 | 30.27 | 43.27 | 155.78 | 39.73 | 41.02 | ||
| SpiralFormer-L † | 4+4×{1/16,1/8,1/4,1/2}+4 | 163.6 / 85.1 | 1.49 | 10.94 | 28.85 | 41.24 | 147.52 | 39.30 | 41.37 | ||
| Pythia-410M | Baseline (Pythia) | 407.4 / 302.3 | 4.59 | 9.07 | 21.79 | 19.48 | 65.86 | 43.87 | 45.31 | ||
| LoopedFormer * | 4+8×{1,1}+4 | 306.7 / 201.5 | 4.59 | 9.19 | 22.12 | 20.37 | 52.55 | 43.70 | 45.68 | ||
| LoopedFormer † | 4+8×{1,1}+4 | 306.7 / 201.6 | 4.59 | 9.09 | 21.84 | 19.63 | 42.51 | 44.12 | 45.56 | ||
| SpiralFormer-B * | 4+8×{1/8,1/4,1/2,1}+4 | 306.7 / 201.6 | 4.10 | 9.13 | 22.04 | 21.96 | 47.33 | 43.87 | 46.30 | ||
| SpiralFormer-B † | 4+8×{1/8,1/4,1/2,1}+4 | 306.8 / 201.6 | 4.11 | 9.00 | 21.48 | 19.11 | 39.78 | 44.31 | 46.75 | ||
| SpiralFormer-L † | 8+8×{1/16,1/8,1/4,1/2}+8 | 407.5 / 302.4 | 4.16 | 8.73 | 20.55 | 20.38 | 47.89 | 44.97 | 47.06 | ||
| Pythia-1B | Baseline (Pythia) | 1020.2 / 805.7 | 9.67 | 7.96 | 17.66 | 13.53 | 33.65 | 46.95 | 49.07 | ||
| LoopedFormer * | 3+5×{1,1}+3 | 768.4 / 553.9 | 9.67 | 8.10 | 18.15 | 13.32 | 32.34 | 46.73 | 48.83 | ||
| LoopedFormer † | 3+5×{1,1}+3 | 768.4 / 554.0 | 9.67 | 7.90 | 17.54 | 12.19 | 26.71 | 47.53 | 49.51 | ||
| SpiralFormer-B † | 3+5×{1/8,1/4,1/2,1}+3 | 768.6 / 554.1 | 8.95 | 7.80 | 17.21 | 11.96 | 25.55 | 48.14 | 50.25 | ||
| SpiralFormer-L † | 5+6×{1/16,1/8,1/4,1/2}+5 | 1020.4 / 805.9 | 8.96 | 7.64 | 16.73 | 11.94 | 23.90 | 48.97 | 51.83 | ||
| Pythia-1.4B | Baseline (Pythia) | 1423.0 / 1208.6 | 14.08 | 7.44 | 15.97 | 10.51 | 22.81 | 49.50 | 51.93 | ||
| Baseline † | 24 Layers | 1423.1 / 1208.7 | 14.08 | 7.26 | 15.25 | 9.46 | 16.31 | 50.21 | 53.12 | ||
| LoopedFormer * | 4+8×{1,1}+4 | 1020.2 / 805.7 | 14.08 | 7.51 | 16.25 | 10.71 | 19.37 | 49.39 | 51.27 | ||
| LoopedFormer † | 4+8×{1,1}+4 | 1020.2 / 805.8 | 14.08 | 7.39 | 15.84 | 9.72 | 19.39 | 50.56 | 52.79 | ||
| SpiralFormer-B † | 4+8×{1/8,1/4,1/2,1}+4 | 1020.4 / 805.9 | 12.92 | 7.30 | 15.61 | 9.06 | 15.30 | 51.48 | 53.22 | ||
| SpiralFormer-L † | 8+8×{1/16,1/8,1/4,1/2}+8 | 1423.2 / 1208.8 | 13.13 | 7.14 | 15.03 | 9.73 | 14.42 | 51.75 | 54.37 |
- SpiralFormer は、160M–1.4B スケール全体で、ループ済みおよび非ループのベースラインよりもパラメータと計算効率を改善する。
- 粗から細への多解像度スケジュールは、FLOPs を一貫して削減し（特定サイズで約7–11%）、困難度指標（パープレキシティ）と下流の精度を維持または改善する。
- 一致したパラメータ数で、SpiralFormer-L は FLOPs を約3–10%削減し、パープレキシティと少数-shot 精度を改善する（例：1.4B: 14.08→13.13 FLOPs; 51.93→54.37 5-shot）。
- アテンションプローブはループ間のクロスシフトを示し、高解像度ループはより選択的（エントロピー低下）となり、局所性が強化される（Local Attention Mass の増加）。
- 完全解像度の LoopedFormer ではループ間の注意ダイナミクスが弱く、階層的パターンは単なるループではなく多解像度設計に結びついていることを示唆する。
より良い研究を、今すぐ始めましょう
論文設計から論文執筆まで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。