Skip to main content
QUICK REVIEW

[논문 리뷰] MrRoPE: Mixed-radix Rotary Position Embedding

Qingyuan Tian, Wenhong Zhu|arXiv (Cornell University)|2026. 01. 28.
Topic ModelingComputer Science인용 수 0
한 줄 요약

이 논문은 RoPE 기반 컨텍스트 윈도를 확장하기 위한 통합 혼합 기수 프레임워크인 MrRoPE를 도입하고, 훈련 없이 변형인 MrRoPE-Uni와 MrRoPE-Pro를 제안하며, MrRoPE-Pro가 미세 조정 없이도 강력한 장기 컨텍스트 성능을 제공합니다.

ABSTRACT

Rotary Position Embedding (RoPE)-extension refers to modifying or generalizing the Rotary Position Embedding scheme to handle longer sequences than those encountered during pre-training. However, current extension strategies are highly diverse and lack a unified theoretical foundation. In this paper, we propose MrRoPE (Mixed-radix RoPE), a generalized encoding formulation based on a radix system conversion perspective, which elegantly unifies various RoPE-extension approaches as distinct radix conversion strategies. Based on this theory, we introduce two training-free extensions, MrRoPE-Uni and MrRoPE-Pro, which leverage uniform and progressive radix conversion strategies, respectively, to achieve 'train short, test long' generalization. Without fine-tuning, MrRoPE-Pro sustains over 85% recall in the 128K-context Needle-in-a-Haystack test and achieves more than double YaRN's accuracy on Infinite-Bench retrieval and dialogue subsets. Theoretical analysis confirms that MrRoPE-Pro effectively raises the upper bound of RoPE's attainable encoding length, which further validates the reliability and utility of our theory and methodology.

연구 동기 및 목표

  • RoPE 확장을 기수(베이스) 변환 이론으로 통일하는 포괄적 이론적 프레임워크를 제공한다.
  • 훈련 없이 확장 가능한 MrRoPE-Uni(일관된 기수) 및 MrRoPE-Pro(진보적 기수)를 도입하여 장기 컨텍스트 일반화를 달성한다.
  • 혼합 기수 전략이 중고주파 RoPE 차원에 어떤 영향을 미쳐 도메인 외(OOD) 문제를 완화하는지 분석한다.
  • 추가 훈련 없이 다수의 기초 모델과 장기 컨텍스트 벤치마크에서의 경험적 성능 향상을 보여준다.]
  • method_tldr medical?
  • method
  • [
  • Formulate RoPE extensions as mixed-radix radix-conversion operations on the rotation frequencies.
  • Define the MrRoPE framework with a radix vector lambda controlling per-dimension expansion (Eq. 15).
  • Propose MrRoPE-Uni: uniform radix expansion for middle dimensions to achieve total scale S (Eq. 13).
  • Propose MrRoPE-Pro: progressive radix expansion across middle dimensions with epsilon_j derived to satisfy total expansion (Eq. 14).
  • Compare against existing RoPE-extensions (NTK-aware interpolation, YaRN) as instantiations within the MrRoPE framework.
  • Provide training-free evaluation on long-context tasks (perplexity, RULER, Needle-in-a-Haystack, Infinite-Bench) and theoretical analysis of RoPE bounds and attention stability.

제안 방법

  • RoPE 확장을 회전 주파수에 대한 혼합 기수 변환 연산으로 형식화한다.
  • 람다로 지정된 기수 벡터를 사용해 차원별 확장을 제어하는 MrRoPE 프레임워크를 Eq. 15로 정의한다.
  • 중간 차원에 대한 균일 기수 확장을 통해 총 규모 S를 달성하는 MrRoPE-Uni를 제안한다( Eq. 13).
  • 총 확장을 만족하도록 중간 차원에 걸친 점진적 기수 확장을 제안하는 MrRoPE-Pro를 제안하고, ε_j를 도출한다(Eq. 14).
  • MrRoPE 프레임워크 내에서 인스턴스화된 기존 RoPE 확장(NTK 인식 보간, YaRN)과 비교한다.
  • 훈련 없이 장기 컨텍스트 작업(혼동도, RULER, Needle-in-a-Haystack, Infinite-Bench)에 대한 평가와 RoPE 경계 및 어텐션 안정성에 대한 이론적 분석을 제공한다.
Figure 1: The overall framework of our work. Our key contributions are: (1) a unified theoretical framework for major RoPE-extensions, reflecting them into a specific radix conversion behavior; (2) a progressive radix conversion method MrRoPE-Pro, which outperforms other SoTA methods across various
Figure 1: The overall framework of our work. Our key contributions are: (1) a unified theoretical framework for major RoPE-extensions, reflecting them into a specific radix conversion behavior; (2) a progressive radix conversion method MrRoPE-Pro, which outperforms other SoTA methods across various

실험 결과

연구 질문

  • RQ1RoPE 확장을 기수-변환 관점에서 어떻게 통합할 수 있는가?
  • RQ2균일한 기수와 점진적 기수 전략은 RoPE를 더 긴 컨텍스트로 확장할 때 성능에 다른 차이를 만드는가?
  • RQ3훈련 없이도 점진적 기수 확장을 통해 효과적인 컨텍스트 길이를 미세 조정 없이 크게 확장할 수 있는가?
  • RQ4중간 차원은 어텐션 점수 분포와 RoPE의 인코딩 길이의 상한에 어떤 영향을 미치는가?
  • RQ5MrRoPE-Uni와 MrRoPE-Pro는 YaRN 및 NTK 기반 방법과 표준 장기 컨텍스트 벤치마크에서 어떻게 비교되는가?

주요 결과

  • MrRoPE는 주요 RoPE 확장 방법들을 기수 변환과 연결하는 통합 이론을 제공하며 YaRN과 NTK를 특수한 사례로 설명한다.
  • MrRoPE-Pro(진보적 기수)는 합성 및 실제 장기 컨텍스트 평가에서 우수하고 일관된 이익을 달성한다.
  • 증명더미(perplexity) 테스트에서 MrRoPE-Pro는 모든 모델과 컨텍스트 길이에서 최저 perplexity를 달성하며 YaRN 및 MrRoPE-Uni를 능가한다.
  • MrRoPE-Pro는 이론적 RoPE 컨텍스트 윈도우 상한(RoPE Bound Theory)을 1K에서 28K로 확장하여 YaRN에 비해 거의 다섯 배에 달한다(10,000 기수 기준).
  • 장기 컨텍스트 벤치마크(Needle-in-a-Haystack, RULER, Infinite-Bench)에서 MrRoPE-Pro는 YaRN을 현저히 능가하고 일부 미세 조정된 장기 컨텍스트 모델에 근접하거나 이를 능가하며 추가 훈련 없이 달성한다.
  • 이론적 분석은 MrRoPE-Pro가 중간 차원에서 어텐션을 안정화하고 유효 컨텍스트 윈도를 확장함을 보여준다.
Figure 2: The biased positional estimate $\hat{m}$ of RoPE across different base.
Figure 2: The biased positional estimate $\hat{m}$ of RoPE across different base.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.