[論文レビュー] Extending Llama-3's Context Ten-Fold Overnight

Peitian Zhang, Ninglu Shao+5 more|arXiv (Cornell University)|Apr 30, 2024

Advanced Vision and Imaging被引用数 4

ひとこと要約

この論文では、GPT-4によって生成された3.5Kの合成トレーニングサンプルとQLoRA微調整を用いて、Llama-3のコンテキスト長を8Kから80Kに拡張する手法、Llama-3-8B-Instruct-80K-QLoRAを提示する。モデルは長文のベンチマークで最先端の性能を達成しながらも、短文のタスクにおける性能を維持しており、1台の8xA800（80GB）GPUマシンで8時間でトレーニングが完了する。

ABSTRACT

We extend the context length of Llama-3-8B-Instruct from 8K to 80K via QLoRA fine-tuning. The entire training cycle is super efficient, which takes 8 hours on one 8xA800 (80G) GPU machine. The resulted model exhibits superior performances across a broad range of evaluation tasks, such as NIHS, topic retrieval, and long-context language understanding; meanwhile, it also well preserves the original capability over short contexts. The dramatic context extension is mainly attributed to merely 3.5K synthetic training samples generated by GPT-4 , which indicates the LLMs' inherent (yet largely underestimated) potential to extend its original context length. In fact, the context length could be extended far beyond 80K with more computation resources. Therefore, the team will publicly release the entire resources (including data, model, data generation pipeline, training code) so as to facilitate the future research from the community: \url{https://github.com/FlagOpen/FlagEmbedding}.

研究の動機と目的

• Llama-3-8B-Instructのコンテキスト長を8Kから80Kに拡張する際、計算リソースの大幅な増加を伴わずに効率的かつ低リソースで実現すること。
• 大規模言語モデルが最小限の合成データを用いて、極めて長いコンテキストに自然に一般化できるかどうかを調査すること。
• 長文コンテキストでの優れた性能を達成する一方で、元のモデルが有する短文コンテキストタスクにおける性能を維持すること。
• データ、コード、モデル重みを含む完全に再現可能なトレーニングレシピを公開し、長文LLM分野におけるコミュニティ研究を加速すること。
• より多くの計算リソースを活用することで、同様の手法を用いて80Kを超えるコンテキスト長への外挿が可能かどうかを検討すること。

提案手法

• GPT-4を用いて3つのタスク（単一詳細QA、同種および異種コンテキスト上の複数詳細QA、伝記要約）をカバーする3.5Kの長文コンテキストトレーニングサンプルを合成した。
• 64K～80Kトークンの同じ長文コンテキストからの質問・回答ペアをグループ化して、マルチターン会話形式を構築し、インstructチューニングのシナリオを模擬した。
• 微調整中の深刻な忘れの回避を目的に、合成データに加えて5KのRedPajamaと12KのLongAlpacaのインスタンスを組み合わせた。
• Q、K、V、Oの投影層および埋め込み層にLoRAを適用し、QLoRAを実施。ランク=32、alpha=16、バッチサイズ=8、線形減衰学習率5e-5を設定した。
• RoPE回転位置埋め込みのベースを500Kから200Mに拡張し、トレーニング中により長いコンテキストをサポートした。
• 1つの8xA800（80GB）GPUを用いて1エポック分トレーニングを実施。勾配チェックポイントとモデル並列化なしで8時間で完了した。

Figure 1: The accuracy score of Llama-3-8B-Instruct-80K-QLoRA on Needle-In-A-HayStack task. The blue vertical line indicates the training length, i.e. 80K.

実験結果

リサーチクエスチョン

• RQ1 GPT-4のような強力なLLMが生成する少量の合成データによって、より小さなLLMの長文微調整が効果的かつ効率的に可能になるか？
• RQ2 微調整されたLLMが、自身の最大トレーニング長（例：80Kから128K）を超えるコンテキスト長にどの程度一般化できるか？
• RQ3 本手法によるコンテキスト長の拡張が、短文コンテキストタスクにおけるモデルの性能に悪影響を及えるか？
• RQ4 標準的な長文ベンチマークにおいて、拡張されたモデルの性能が元のモデルおよび他の長文LLMと比べてどうなるか？
• RQ5 追加の計算リソースを活用することで、本手法をさらに長いコンテキスト長にスケールアップできるか？

主な発見

• Llama-3-8B-Instruct-80K-QLoRAモデルは、全80Kトレーニングコンテキスト長にわたり、Needle-In-A-Haystackタスクで100%の正答率を達成し、128Kまでの未学習の位置に対しても良好な一般化性能を示した。
• Topic Retrievalベンチマークでは、全評価対象コンテキスト長（5K～70K）で100%の正答率を維持した。これに対して元のLlama-3-8B-Instructは9Kを超えると失敗した。
• LongBenchでは平均スコア47.19を達成し、単一文書、複数文書、要約（Summ）を含む複数のタスクで、元のLlama-3-8B-Instruct（43.20）およびLlama-3-8B-Instruct-262K（43.73）を大きく上回った。
• InfiniteBenchでは、LongBookQAで30.92、LongBookSumで14.73を達成。元のLlama-3-8B-Instruct（7.00および16.40）を上回り、要約タスクではGPT-4の性能に近づいた。
• MMLUではゼロショット評価で64.44を記録し、元のLlama-3-8B-Instruct（65.91）をわずかに下回ったが、同規模の他のオープンソースモデルに比べて依然として優れた性能を示した。
• 全トレーニングプロセスが1台の8xA800（80GB）GPUでわずか8時間で完了し、高い効率性と再現可能性を示した。

Figure 2: The accuracy of Topic Retrieval task.