[論文レビュー] InstructRetro: Instruction Tuning post Retrieval-Augmented Pretraining

Boxin Wang, Wei Ping+5 more|arXiv (Cornell University)|Oct 11, 2023

Topic Modeling被引用数 6

ひとこと要約

本稿では、1.2兆トークンの外部データベースから継続的リテンションを用いたリテンション拡張事前学習を実施した480億パラメータの指令微調整言語モデル、InstructRetroを紹介する。1.2兆トークンの外部トークンを用いたリテンションによる微調整により、430億パラメータのGPTバックボーンを学習したInstructRetroは、短形QAタスクでGPTの対応モデルよりも7%高いゼロショット精度を達成し、長形QAタスクで10%、要約タスクで16%の向上を示した。これは、リテンション拡張事前学習が、大規模な状況下でも指令微調整性能を顕著に向上させることを示している。

ABSTRACT

Pretraining auto-regressive large language models~(LLMs) with retrieval demonstrates better perplexity and factual accuracy by leveraging external databases. However, the size of existing pretrained retrieval-augmented LLM is still limited (e.g., Retro has 7.5B parameters), which limits the effectiveness of instruction tuning and zero-shot generalization. In this work, we introduce Retro 48B, the largest LLM pretrained with retrieval. Specifically, we continue to pretrain a 43B GPT model on additional 100 billion tokens using the Retro augmentation method by retrieving from 1.2 trillion tokens. Notably, the obtained foundation model, Retro 48B, largely outperforms the counterpart GPT 43B trained on 1.2T tokens in terms of perplexity with only 2.58% additional GPU hours, demonstrating the significant scaling potential of the method. After instruction tuning on Retro, InstructRetro demonstrates significant improvement over the instruction tuned GPT on a wide range of zero-shot tasks. Specifically, the average improvement of InstructRetro is 7% over its GPT counterpart across 8 short-form QA and reading comprehension tasks, 10% over GPT across 4 challenging long-form QA tasks, and 16% over GPT across 3 summarization tasks. Surprisingly, we find that one can ablate the encoder from InstructRetro architecture and directly use its decoder backbone, while achieving comparable results. Our results highlight the promising direction to obtain a better GPT decoder through continued pretraining with retrieval before instruction tuning. Our code and checkpoints are publicly available at: https://huggingface.co/nvidia/retro-48b-instruct-4k.

研究の動機と目的

• 現在の100億パラメータの限界を超えてリテンション拡張言語モデルをスケーリングし、より優れたゼロショット一般化能力と指令従従性を実現すること。
• リテンションを用いた継続的学習が、指令微調整の前段階で大規模言語モデルの基盤品質を向上させるかどうかを調査すること。
• リテンション拡張モデルにおけるエンコーダー部が、指令微調整後の下流タスク性能に不可欠であるかどうかを評価すること。
• リテンション拡張事前学習後に指令微調整を施すことで、標準的なRAGや非リテンション微調整モデルと比較して、事実の正確性と文脈理解が顕著に向上することを示すこと。

提案手法

• 1.2兆トークンのデータベースからリテンションを用いた生成（Retro）を用いて、追加で1000億トークンの継続的事前学習を実施。430億パラメータのGPTモデルを対象とする。
• 継続的学習中にデコーダー重みを凍結せず、従来のRetro手法とは異なりすべてのパラメータを同時に最適化できるようにした。
• 得られたリテンション拡張基盤モデル（Retro 480億）に対して指令微調整を適用し、InstructRetro 480億を生成。これにより、指令従従能力が向上した。
• アブレーションスタディとして、InstructRetro 480億のエンコーダー部を削除し、デコーダーのみのInstructRetro 430億モデルを構築。アーキテクチャの必要性を検証した。
• 標準的な指標（EMやROUGE）を用いて、ゼロショットQA、要約、読解理解タスクでの性能を評価した。
• 2段階のトレーニングパイプラインを採用：まずリテンション拡張事前学習を行い、次に収集済みの指令データを用いた指令微調整を実施した。

Figure 1 : Training pipeline for InstructRetro 48B and InstructRetro 43B.

実験結果

リサーチクエスチョン

• RQ1 1.2兆トークン規模のリテンション拡張事前学習が、指令微調整の前段階で大規模言語モデルの性能を顕著に向上させることができるか？
• RQ2 特にデコーダーを凍結しない継続的学習により、標準的な事前学習と比較して、パープレクサリティと下流タスクのゼロショット一般化性能が向上するか？
• RQ3 指令微調整が、リテンション拡張事前学習の恩恵をどの程度強化するか。特に事実の正確性と推論能力の観点から検証する。
• RQ4 InstructRetroのようなリテンション拡張モデルにおけるエンコーダー部は、指令微調整後の高精度な性能を達成するために不可欠であるか？
• RQ5 InstructRetroから導出されたデコーダーのみのモデルは、完全なモデルと同等の性能を達成できるか。これにより、より効率的な指令微調整LMMの実現への道筋が示唆されるか？

主な発見

• InstructRetro 480億は、8つの短形QAおよび読解理解タスクにおいて、GPT 430億の対応モデルと比較して平均7%高いゼロショットEM精度を達成した。
• 4つの挑戦的な長形QAタスクにおいて、InstructRetro 480億はGPT 430億ベースラインと比較して、ゼロショット評価で10%の向上を示した。
• 3つの要約タスクにおいて、InstructRetro 480億はGovReportでROUGEスコアを4.87ポイント向上させ、Instruct GPT-RAG 700億と比較して一貫して優れた性能を示した。
• エンコーダー部を削除したデコーダーのみのInstructRetro 430億は、InstructRetro 480億と同等の性能を達成した。これは、指令微調整後にはエンコーダー部が必須でないことを示唆している。
• Retro 480億は、GPT 430億の対応モデルと比較して、わずか2.58%の追加GPU時間で低いパープレクサリティを達成した。これは、リテンション拡張事前学習のスケーラビリティと効率性を示している。
• 指令微調整は、GPTおよびRetroモデルの両方において、指令従従のボトルネックを顕著に緩和した。リテンションの恩恵は、微調整後に顕著に顕在化した。

Figure 2 : Perplexity evaluation of pretrained GPT models, GPT-fitting, and Retro-fitting models across various parameter sizes on the held-out validation set. In contrast to Borgeaud et al. ( 2022 ) , we unfreeze all parameters for Retro-fitting. Retro significantly outperforms GPT models, achievin