[論文レビュー] Fractional Rotation, Full Potential? Investigating Performance and Convergence of Partial RoPE

Mohammad Aflah Khan, Krishna P. Gummadi+2 more|arXiv (Cornell University)|Mar 12, 2026

Advanced Neural Network Applications被引用数 0

ひとこと要約

この論文は transformers における partial RoPE を系統的に研究し、 RoPE を隠れ次元のおよそ 10% に適用するだけで収束と最終損失がほぼ full RoPE と同等になる一方、長い文脈での大幅なメモリ節約を提供することを示している。

ABSTRACT

Rotary Positional Embedding (RoPE) is a common choice in transformer architectures for encoding relative positional information. Although earlier work has examined omitting RoPE in specific layers, the effect of varying the fraction of hidden dimensions that receive rotary transformations remains largely unexplored. This design choice can yield substantial memory savings, which becomes especially significant at long context lengths. We find up to 10x memory savings over the standard RoPE cache, while achieving comparable final loss. In this work, we present a systematic study examining the impact of partial RoPE on training dynamics and convergence across architectures and datasets. Our findings uncover several notable patterns: (1) applying RoPE to only a small fraction of dimensions (around 10%) achieves convergence comparable to using full RoPE; (2) these trends hold consistently across model size, sequence lengths and datasets of varying quality and architectures, with higher-quality data resulting in lower overall loss and similar benchmark performance; and (3) some models trained with NoPE (No Positional Encoding) showcase unstable learning trajectories, which can be alleviated through minimal RoPE application or QK-Norm which converges to a higher loss. Together, these results offer practical guidance for model designers aiming to balance efficiency and training stability, while emphasizing the previously overlooked importance of partial RoPE.

研究の動機と目的

• RoPE（回転位置エンベディング）を受ける隠れ次元の割合が、トレーニングダイナミクスと収束にどのように影響するかを調査する。
• 部分的 RoPE からのメモリ効率の向上、特に長い文脈長に対して評価する。
• アーキテクチャ、モデルサイズ、データ品質をまたがる頑健性を評価する。
• 効率と安定性のバランスを取る設計者への実践的ガイダンスを提供する。

提案手法

• RoPE の割合を変えてゼロから前処理された複数の Transformer モデルを事前学習（0%：NoPE、10%、25%、50%、75%、100%：full RoPE）。
• 順次 attention と並列 attention の両方のアーキテクチャ（Llama-3.2/3.1 および Pythia-1B スタイル）をテストする。
• FineWeb および FineWeb-Edu データセットを、100Bトークンのサブセットと標準 LM 評価ベンチマークに加え PubMedQA を用いて評価する。
• 損失軌跡を通じたトレーニングダイナミクスの探索と、LM Evaluation Harness 指標および MCQ ベンチマークによる性能のベンチマークを実施する。
• NoPE 構成での潜在的な損失スパイクを緩和するための QK-Norm などの安定性技術を検討する。

Figure 1: Estimated memory usage of the RoPE sine/cosine cache as a function of sequence length. Partial application (e.g., 10%) drastically reduces RoPE cache size, which becomes critical for very long context windows (especially for edge devices and other resource constrained settings). The exact

実験結果

リサーチクエスチョン

• RQ1 RQ1: RoPE を受ける隠れ次元の割合は、モデルのトレーニングダイナミクスと収束にどのように影響するか？
• RQ2 RQ2: 事前学習データの品質は、最適な部分 RoPE 構成にどのような影響を与えるか？
• RQ3 RQ3: シーケンス長は、部分 RoPE 構成の挙動にどのように影響するか？
• RQ4 RQ4: 部分 RoPE の効果は、順次型と並列型のトランスフォーマーブロック設計で一貫して現れるか？
• RQ5 RQ5: モデルスケールが観測される部分 RoPE の傾向にどう影響するか？
• RQ6 RQ6: ベンチマーク評価は、損失ベースの所見と一致するか？

主な発見

• RoPE を隠れ次元のごく 10% に適用するだけで、収束と最終損失が full RoPE と同等に近づく。
• NoPE または非常に低い RoPE（例：2 チャンネル ≈ 4%）は、最終損失が高く収束する。
• より高品質な事前学習データは絶対的な損失を増加させるが、構成間で partial RoPE のパターンを保つ。
• シーケンス長（1024, 4096, 8192）および順次 vs 並列の注意アーキテクチャをまたいでも傾向は保持される。
• NoPE は並列アーキテクチャで不安定な学習軌道や損失スパイクを引き起こす可能性があり、QK-Norm または Partial RoPE により緩和される。
• ベンチマーク結果は損失ベースの分析と大筋で一致し、9/10 の MCQ タスクで RoPE 変種間の差はほとんどなく、困惑度は 10% 以上の RoPE に移ると改善する。

(a) Default Sequence length (2048)