[論文レビュー] The What, Why, and How of Context Length Extension Techniques in Large Language Models -- A Detailed Survey

Saurav Pawar, S. M Towhidul Islam Tonmoy+4 more|arXiv (Cornell University)|Jan 15, 2024

Topic Modeling被引用数 6

ひとこと要約

LLMsのコンテキスト長拡張技術の総合的な調査。補間と外挿の手法を分類し、位置付け、メモリ、検索、ファインチューニングのアプローチと評価上の課題をレビューする。

ABSTRACT

The advent of Large Language Models (LLMs) represents a notable breakthrough in Natural Language Processing (NLP), contributing to substantial progress in both text comprehension and generation. However, amidst these advancements, it is noteworthy that LLMs often face a limitation in terms of context length extrapolation. Understanding and extending the context length for LLMs is crucial in enhancing their performance across various NLP applications. In this survey paper, we delve into the multifaceted aspects of exploring why it is essential, and the potential transformations that superior techniques could bring to NLP applications. We study the inherent challenges associated with extending context length and present an organized overview of the existing strategies employed by researchers. Additionally, we discuss the intricacies of evaluating context extension techniques and highlight the open challenges that researchers face in this domain. Furthermore, we explore whether there is a consensus within the research community regarding evaluation standards and identify areas where further agreement is needed. This comprehensive survey aims to serve as a valuable resource for researchers, guiding them through the nuances of context length extension techniques and fostering discussions on future advancements in this evolving field.

研究の動機と目的

• NLPタスク全体におけるLLMsのコンテキスト長拡張の重要性を動機づける。
• コンテキスト長拡張技術（補間 vs 外挿）の組織的な分類法を提供する。
• 既存のメカニズム（位置エンコーディング、メモリ/検索、アテンション修正）とそれらのゼロショットおよびファインチューニング済みのバリアントを調査する。
• コンテキスト長拡張研究における評価基準、課題、合意のギャップを議論する。
• コンテキスト長拡張の今後の課題と将来の研究方向を強調する。

提案手法

• 補間と外挿の技術を分離する分類法を提案し、ゼロショットおよびファインチューニングの分岐を設ける。
• 位置エンコーディング手法（RoPE、ALiBi など）とそれらの外挿特性をレビューする。
• 長い文脈のための特殊なアテンション、窓ベース、メモリ/検索アプローチを調査する。
• PI、NTK対応手法、メモリ由来技術（Landmark Attention、TiM など）といった補間アプローチを検討する。
• ゼロショット対ファインチューニング戦略とそれらの長文脈タスクへの適用性を要約する。

Figure 2: Implementation of ALiBi Press et al. ( 2021b ) . When calculating attention in a neural network, the figure’s method involves adding a fixed bias to each attention score before applying the softmax function. This bias is the same for all attention scores in a specific head. The rest of the

実験結果

リサーチクエスチョン

• RQ1 LLMsの文脈長を拡張するための主な技術は何ですか？
• RQ2 補間と外挿の方法はそのアプローチと適用性の点でどう異なりますか？
• RQ3 長文脈のための位置エンコーディング、特殊なアテンション、メモリベースの手法の長所と限界は何ですか？
• RQ4 コンテキスト長拡張技術の評価にどのような課題が存在し、標準についての合意はありますか？

主な発見

• 複数の長文脈戦略が存在し、RoPEベース、ALiBi、PIが顕著なゼロショット外挿手法として挙げられる。
• RoPEとその派生は相対的な位置情報を有効にし、長いシーケンスでの外挿を改善する。
• メモリ/検索アプローチとランドマークトークンは計算を削減し、訓練や推論中により長い文脈を可能にする。
• 補間とNTK対応手法は、データ要件が異なる長い文脈へ事前学習済みモデルを適応させることができる。
• 特定の外挿技術で効率向上と安定性の改善が見られる一方、精度とリソース使用のトレードオフが残る。

Figure 3: Visualization of RoPE Su et al. ( 2024 ) , which employs rotational matrices to capture precise absolute positional information in token sequences. By rotating segments of query and key projection matrices at different speeds, RoPE ensures unique rotations, influencing attention scores. Th