[論文レビュー] Advancing Transformer Architecture in Long-Context Large Language Models: A Comprehensive Survey

Yun-Peng Huang, Jingwei Xu+10 more|arXiv (Cornell University)|Nov 21, 2023

Topic Modeling被引用数 15

ひとこと要約

この調査は前訓練、微調整、推論にわたる長文脈LLMのTransformerアーキテクチャの進展をレビューし、方法を5カテゴリの分類法に整理し、評価とツールについて論じる。

ABSTRACT

Transformer-based Large Language Models (LLMs) have been applied in diverse areas such as knowledge bases, human interfaces, and dynamic agents, and marking a stride towards achieving Artificial General Intelligence (AGI). However, current LLMs are predominantly pretrained on short text snippets, which compromises their effectiveness in processing the long-context prompts that are frequently encountered in practical scenarios. This article offers a comprehensive survey of the recent advancement in Transformer-based LLM architectures aimed at enhancing the long-context capabilities of LLMs throughout the entire model lifecycle, from pre-training through to inference. We first delineate and analyze the problems of handling long-context input and output with the current Transformer-based models. We then provide a taxonomy and the landscape of upgrades on Transformer architecture to solve these problems. Afterwards, we provide an investigation on wildly used evaluation necessities tailored for long-context LLMs, including datasets, metrics, and baseline models, as well as optimization toolkits such as libraries, frameworks, and compilers to boost the efficacy of LLMs across different stages in runtime. Finally, we discuss the challenges and potential avenues for future research. A curated repository of relevant literature, continuously updated, is available at https://github.com/Strivin0311/long-llms-learning.

研究の動機と目的

• TransformerベースのLLMにおける長文脈処理の課題を、事前学習から微調整、推論まで特定する。
• 文脈ウィンドウを拡張するためのアーキテクチャの総合的分類法を提供する。
• 長文脈LLMの評価ニーズ、データセット、指標、ベースライン、および最適化ツールキットを調査する。
• 長文脃トランスフォーマー研究における課題と今後の方向性を議論する。
• 進行中の研究動向を追跡するためのリアルタイム文献リポジトリを提供する。

提案手法

• 言語モデリングの目的とモデリング段階の問題空間と前提を定義する。
• 長文脈LLMのためのアーキテクチャ改善の5カテゴリにまたがる分類法を提案する。
• 各カテゴリ内の具体的手法と、それらが文脁長と効率性に与える影響をレビューする。
• 評価の必要性を要約し、トレーニングと推論の最適化に使われる一般的なツールキットを説明する。
• キュレーションされた文献リポジトリに支えられた課題と今後の研究方向を強調する。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマー基盤のLLMの実効的な文脈長を、トレーニング、微調整、推論、処理を横断して拡張するために提案されたアーキテクチャ的手法は何か。
• RQ2 効率的なアテンション、メモリ機構、外挿的な位置エンベディング、文脈処理は、長文脈パフォーマンスにどう寄与するか。
• RQ3 長文脈機能を評価する際に一般的に用いられる評価データセット、指標、ベースラインは何か。
• RQ4 長文脈トランスフォーマーアーキテクチャを設計する際の主要な課題と潜在的な今後の方向性は何か。

主な発見

• 効率的なアテンション、メモリ、外挿的位置エンベディング、文脈処理、およびその他の手法は、長文脈の制約に総合的に対処する。
• TransformerベースのLLM開発の各段階に手法を対応づける総合的な分類法が提案される。
• 本調査は評価の必要性を網羅し、トレーニングと推論の効率を改善するための一般的なツールキットとライブラリを特定する。
• 長文脈LLMの進展に関する文献を編纂・更新するリポジトリが確立される。
• 論文は長文脈能力を前進させるための課題と今後の研究方向性を論じる。