[論文レビュー] XGen-7B Technical Report

Erik Nijkamp, Tian Xie+23 more|arXiv (Cornell University)|Sep 7, 2023

Topic Modeling被引用数 4

ひとこと要約

XGen-7Bは、最大1.5兆トークンで事前学習された7Bパラメータの大規模言語モデルであり、8Kのコンテキスト長をサポートしており、2段階の訓練プロセス（2K → 4K → 8K）を経て、自然言語とコードを含む多様なデータミックスを用いている。標準ベンチマークにおいて最先端の性能を達成しており、会話要約やコード生成などの長文脈タスクにおいて、2Kシーケンスのオープンソースモデルを顕著に上回っている。

ABSTRACT

Large Language Models (LLMs) have become ubiquitous across various domains, transforming the way we interact with information and conduct research. However, most high-performing LLMs remain confined behind proprietary walls, hindering scientific progress. Most open-source LLMs, on the other hand, are limited in their ability to support longer sequence lengths, which is a key requirement for many tasks that require inference over an input context. To address this, we have trained XGen, a series of 7B parameter models on up to 8K sequence length for up to 1.5T tokens. We have also finetuned the XGen models on public-domain instructional data, creating their instruction-tuned counterparts (XGen-Inst). We open-source our models for both research advancements and commercial applications. Our evaluation on standard benchmarks shows that XGen models achieve comparable or better results when compared with state-of-the-art open-source LLMs. Our targeted evaluation on long sequence modeling tasks shows the benefits of our 8K-sequence models over 2K-sequence open-source LLMs.

研究の動機と目的

• 2Kコンテキスト長に制限されたオープンソースLLMの限界を解消し、コード生成や文書要約などの長文脈タスクにおける性能向上を図ること。
• 段階的事前学習を通じて、長文脈長をサポートしつつも強力な性能を維持するスケーラブルで効率的な7Bパラメータモデルの開発。
• ベースモデルおよびインstructチューニング済みバージョンの両方をオープンソース化することで、科学的・商業的利用の拡大を促進すること。
• 多様な公的ドメインのインstructデータセットを用いた監視付き微調整により、ゼロショットおよびフェイワショット一般化能力を向上させること。

提案手法

• 2段階の事前学習戦略を採用：まず1.2兆トークン（自然言語＋コード）を用いて2Kコンテキスト長で事前学習し、その後4K、最終的に8Kコンテキスト長で追加の3000億トークンを用いて継続的に学習。
• 自然言語は多様な公的コーパス、コードはRedPajamaのGitHubデータおよびBigCode Starcoderを活用し、許可が緩いライセンスを採用したコード固有の事前学習を実施。
• GPT-2をベースにしたバイトペアエンコーディング（BPE）のトークン化を実施し、コードおよびインstructチューニング用の特別トークンを追加。
• XGen-7B-8Kベースモデルを2つの公的インstructデータセット（WizardLM-196Kおよび一般インストラクションデータ（OAsst, Baize, Dolly2, ShareGPT, SCROLLS））で微調整し、XGen-7B-Instバージョンを生成。
• TPUパッドを横断する混合精度学習およびモデル並列化により、学習効率を最適化。総学習コストは約57MWh、CO₂排出量は4.5トンCO₂eq。
• 標準的なLLM評価プロトコル（標準および長文脈ベンチマークにおけるパープレキシティ、正答率、ROUGEスコア）を用いる。

Figure 1: Cross-entropy over training time. The model is pre-trained in three stages with a step-wise increase of the sequence length from 2K to 4K to 8K tokens. Note, the pre-training does not suffer from any loss spikes. The spikes at the transitions in sequence lengths are expected as the model a

実験結果

リサーチクエスチョン

• RQ1 2K → 8Kに段階的にコンテキスト長を拡大し、1.5兆トークンで学習された7Bパラメータモデルが、標準および長文脈ベンチマークで競争力のある性能を達成できるか？
• RQ2 XGen-7Bの8Kコンテキスト長は、会話要約やコード生成などの長文脈タスクにおいて、2Kシーケンスのオープンソースモデルと比較してどの程度優れているか？
• RQ3 XGen-7Bのインストラクションチューニング済みバージョンは、AlpacaEval や MTBench のようなインストラクションフォローアップベンチマークで、同サイズまたはそれ以上のモデルをどの程度上回るか？
• RQ4 このようなモデルの訓練に伴う環境的コストは何か？エネルギー消費量および二酸化炭素排出量の観点で、他のLLMと比較するとどうなるか？
• RQ5 XGen-7Bのような小規模で効率的なモデルが、ベースモデルおよびインストラクションチューニング済み設定の両方で、大規模な特許取得済みまたはオープンソースモデルを模倣または上回ることができるか？

主な発見

• XGen-7B-8Kは、コード生成タスクを含む標準ベンチマークで、最先端のオープンソースLLMと同等またはそれ以上の結果を達成している。
• AlpacaEvalベンチマークにおいて、XGen-7B-Inst（一般）はWizardLM-7B や MPT-7B を上回っており、Falcon-40B-instruct よりも高い性能を示している。
• MTBenchベンチマークでは、XGen-7B-Inst（一般）がMixture-of-Model（MoE）スコアで8.25を達成し、Alpaca-13B や Falcon-40B-instruct を上回っている。
• 長文会話要約タスク（AMI, FD, TMS）において、XGen-7B-Inst（一般）はAMI（5.5Kトークン）でROUGE-1スコア31.34を記録し、入力のトリunksがない状態でMPT-7B-instruct や Alpaca-7B を顕著に上回っている。
• 長文脈タスクにおけるモデルの性能は、8Kコンテキスト長の実用的利点を示しており、XGen-7B-8Kは2Kシーケンスモデルに比べ、長距離依存関係のモデリングにおいて明確な優位性を示している。
• XGen-7Bの訓練に伴う炭素足跡は4.5トンCO₂eqと推定され、総エネルギー消費量は57MWhである。これは他の大規模モデルと同等の水準であり、効率性とオープンアクセスに重点を置いている。

Figure 2: Perplexity over sequence length. If a model can utilize the information encoded in long sequences, then, in expectation, the perplexity should decrease over the length of such sequences. That is, the information contained in previous tokens increases the certainty of the next token predict