[論文レビュー] MrRoPE: Mixed-radix Rotary Position Embedding

Qingyuan Tian, Wenhong Zhu+3 more|arXiv (Cornell University)|Jan 28, 2026

Topic Modeling被引用数 0

ひとこと要約

要約: 本論文はRoPEベースの文脈窓を拡張する統一混合基数フレームワーク MrRoPE を提案し、訓練不要のバリアント MrRoPE-Uni（均一基数）と MrRoPE-Pro（漸進基数）を提示する。MrRoPE-Pro はファインチューニングなしで長大な文脈性能を高める。

ABSTRACT

Rotary Position Embedding (RoPE)-extension refers to modifying or generalizing the Rotary Position Embedding scheme to handle longer sequences than those encountered during pre-training. However, current extension strategies are highly diverse and lack a unified theoretical foundation. In this paper, we propose MrRoPE (Mixed-radix RoPE), a generalized encoding formulation based on a radix system conversion perspective, which elegantly unifies various RoPE-extension approaches as distinct radix conversion strategies. Based on this theory, we introduce two training-free extensions, MrRoPE-Uni and MrRoPE-Pro, which leverage uniform and progressive radix conversion strategies, respectively, to achieve 'train short, test long' generalization. Without fine-tuning, MrRoPE-Pro sustains over 85% recall in the 128K-context Needle-in-a-Haystack test and achieves more than double YaRN's accuracy on Infinite-Bench retrieval and dialogue subsets. Theoretical analysis confirms that MrRoPE-Pro effectively raises the upper bound of RoPE's attainable encoding length, which further validates the reliability and utility of our theory and methodology.

研究の動機と目的

• RoPE拡張を基数変換理論の下で統一的に整理する統一理論フレームワークを提供する。
• 訓練不要の拡張子 MrRoPE-Uni（均一基数）と MrRoPE-Pro（漸進基数）を長文脈一般化のために導入する。
• 混合基数戦略が高周波および中周波 RoPE 次元に与える影響を分析し、域外（OOD）問題を緩和する。
• 追加の訓練なしで複数のベースモデルと長文脓 benchmarks における実証的性能向上を示す。

提案手法

• RoPE拡張を回転周波数上の混合基数変換操作として定式化する。
• MrRoPE フレームワークを、各次元の拡張を制御する基数ベクトル lambda（式(Eq. 15)）で定義する。
• MrRoPE-Uni: 中間次元の均一基数拡張により全体スケール S を達成（式(Eq. 13)）。
• MrRoPE-Pro: 中間次元全体にわたる漸進的基数拡張を提案し、総拡張を満たすように epsilon_j を導出（式(Eq. 14)）。
• 既存の RoPE 拡張（NTK対応補間、YaRN）を MrRoPE フレームワーク内の具象として比較する。
• 長文タスク（困惑度、RULER、Needle-in-a-Haystack、Infinite-Bench）で訓練不要の評価と、RoPE境界およびアテンション安定性の理論的分析を提供する。

Figure 1: The overall framework of our work. Our key contributions are: (1) a unified theoretical framework for major RoPE-extensions, reflecting them into a specific radix conversion behavior; (2) a progressive radix conversion method MrRoPE-Pro, which outperforms other SoTA methods across various

実験結果

リサーチクエスチョン

• RQ1 RoPE 拡張を基数変換の視点で統一化できるか。
• RQ2 均一基数戦略と漸進基数戦略は、RoPE を長文脈へ拡張する際にどのような性能差を生むか。
• RQ3 ファインチューニングなしで、訓練不要の漸進的基数拡張は有効な文脈長をどれだけ拡張できるか。
• RQ4 中間（中間）次元はアテンションスコア分布とRoPE のエンコーディング長の上限にどう影響するか。
• RQ5 MrRoPE-Uni と MrRoPE-Pro は YaRN および NTK ベースの方法と標準的な長文 benchmarks でどう比較されるか。

主な発見

• MrRoPE は主要な RoPE 拡張手法を基数変換と結びつける統一理論を提供し、YaRN と NTK を特殊ケースとして扱える。
• MrRoPE-Pro（漸進基数）は人工データと実データの長文評価で一貫して優れた向上を達成する。
• 証拠 piled style の困惑度テストでは、MrRoPE-Pro が全モデル・全文脈長で最も低い困惑度を達成し、YaRN と MrRoPE-Uni を上回る。
• MrRoPE-Pro は理論的 RoPE 文脈窓上限（RoPE Bound Theory）を 1K から 28K へ拡張し、基数 10,000 の下で YaRN に比べ約5倍。
• 長文 benchmarks（Needle-in-a-Haystack、RULER、Infinite-Bench）では、MrRoPE-Pro が YaRN を著しく上回り、いくつかのファインチューニング済み長文モデルを近づくか上回る、追加訓練なし。
• 理論分析は MrRoPE-Pro が中間次元でアテンションを安定させ、実効文脈窓を拡大することを示す。

Figure 2: The biased positional estimate $\hat{m}$ of RoPE across different base.