[論文レビュー] An Evaluation of Context Length Extrapolation in Long Code via Positional Embeddings and Efficient Attention

Madhusudan Ghosh, Rishabh Gupta|arXiv (Cornell University)|Feb 25, 2026

Software Engineering Research被引用数 0

ひとこと要約

この論文は訓練不要の推論オンリー手法を長いコード文脈外挿に比較評価し、長いコード補完における位置埋め込み（RoPE/ReRoPE）と効率的なアテンション（Paged Attention、Flash Attention、StreamingLLM）をPython、Csharp、Javaで検討する。EMとEdit Simの結果を分析して、コード文脈外挿の長さに対する強みとトレードオフを明らかにする。

ABSTRACT

The rapid advancement of large language models (LLMs) has led to a significant increase in automated tools in the software engineering, capable of performing various code-related tasks such as code generation, completion, and translation. Despite these advancements, its effectiveness is constrained by fixed context lengths, limiting its ability to generalize across long, domain-specific code sequences. To address this challenge, we investigate zero-shot, inference-only methods aimed at improving position encodings and optimizing attention mechanisms. Our goal is to provide a thorough analysis of current approaches that facilitate context length extrapolation in code, particularly in the context of long code completion tasks.

研究の動機と目的

• inference-only手法が長いコード列をゼロショットコード補完タスクでどう扱うかを評価する。
• 長いコードの外挿に対して、位置埋め込みに基づく外挿と効率的アテンション機構を実証的評価で比較する。
• 複数言語にまたがる長いコード文脈で、構文と構造をどのニュアンスで保持するかを特定する。

提案手法

• 文脈長外挿手法を位置埋め込みベースと効率的アテンションベースに分類する。
• RoPE、ReRoPE、およびStreamingLLM、Paged Attention、Flash Attentionなどの効率的アテンション手法を長いコード補完タスクで評価する。
• ゼロショット推論と貪欲デコーディングを用いて長いコード列上で100トークンを生成する。
• Exact Match (EM) と Edit Similarity (Edit Sim) 指標で性能を測定する。
• Guo et al. (2023) に由来する Python、Csharp、Java のデータセットに渡って結果を分析する。
• ハイブリッドアプローチや新しい評価指標の方向性を議論する。

Figure 1. Comparison of length extrapolation techniques for code completion, categorized into Positional Encoding Based (e.g., RoPE, ReRoPE) and Efficient Attention Based methods (e.g., StreamingLLM, Paged Attention, Flash Attention). These approaches address the challenges of handling long code seq

実験結果

リサーチクエスチョン

• RQ1 RQ-1: 効率的アテンション機構は言語間で長いコード長の外挿性能にどのような影響を与えるか？
• RQ2 RQ-2: 位置外挿（RoPE、ReRoPE）は長いコード外挿において効率的アテンション法と比較してどうか？
• RQ3 RQ-3: 言語の構文と構造（Python、Csharp、Java）はゼロショットの長いコード補完性能にどのように影響するか？

主な発見

• 効率的アテンション（Paged Attention）は、言語を問わず位置外挿法よりも一般に高いExact Match (EM) スコアを達成する（例：Pythonでは Paged Attn 0.377 に対して RoPE は 0.013）。
• 位置外挿法（特に ReRoPE）は長いコード列全体で Edit Sim スコアが高く、構造的一貫性をよりよく保つ。
• StreamingLLMとFlash Attentionは速度向上の点で有力だが、ゼロショットコードタスクの長文文脈外挿には苦戦し、EMとEdit Simが低い場合がある。
• ReRoPEは言語を超えてEdit Simを一貫して高く保ち、長いコード補完で構文的・階層的構造の preservesがより良いことを示唆する。
• EMとEdit Simの性能には著しいギャップがあり、正確なトークンレベルの一致を超える機能的正確さとコード品質を捉える指標の必要性を浮き彫りにしている。
• 言語特有の傾向として、PythonはJavaやCsharpに比べてEdit Simが高くなる傾向があり、Java/Csharpの構文の硬直性と比較的自由度の差が影響している可能性がある。