[論文レビュー] Instruction Pre-Training: Language Models are Supervised Multitask Learners
本論文では、オープンソースベースのインストラクション合成器を用いて生成された2億個の合成インストラクション・リクエストペアを用いて、生のコーパスを拡張することで、言語モデルの事前学習を向上させる「インストラクション事前学習」を提案する。この手法により、Llama3-8Bのようなモデルが継続的事前学習においてLlama3-70Bの性能を同等または上回る結果が得られるとともに、一般化性能やインストラクションチューニングの効果が向上する。
Unsupervised multitask pre-training has been the critical method behind the recent success of language models (LMs). However, supervised multitask learning still holds significant promise, as scaling it in the post-training stage trends towards better generalization. In this paper, we explore supervised multitask pre-training by proposing Instruction Pre-Training, a framework that scalably augments massive raw corpora with instruction-response pairs to pre-train LMs. The instruction-response pairs are generated by an efficient instruction synthesizer built on open-source models. In our experiments, we synthesize 200M instruction-response pairs covering 40+ task categories to verify the effectiveness of Instruction Pre-Training. In pre-training from scratch, Instruction Pre-Training not only consistently enhances pre-trained base models but also benefits more from further instruction tuning. In continual pre-training, Instruction Pre-Training enables Llama3-8B to be comparable to or even outperform Llama3-70B. Our model, code, and data are available at https://github.com/microsoft/LMOps.
研究の動機と目的
- 監督付きマルチタスク事前学習が、言語モデルにおける非監督学習のスケーラブルな代替手段としての可能性を探ること。
- 生のテキストから高品質で多様なインストラクション・リクエストペアを生成することで、監督付きマルチタスク学習のスケーリングの課題に対処すること。
- コスト効率を高め、スケーラビリティを確保するため、オープンソースモデルに基づく費用対効果の高いインストラクション合成器の開発。
- インストラクション事前学習の有効性を、スクラッチからの事前学習およびドメイン固有データにおける継続的事前学習の両方で評価すること。
- インストラクション拡張による事前学習が、下流タスクの一般化性能およびインストラクションチューニング性能をどのように向上させるかを示すこと。
提案手法
- 事前学習用コーパスに、ファインチューニングされたインストラクション合成器によって生成された合成インストラクション・リクエストペアを追加する。
- 各例が生のテキストと、そのテキストを条件として複数のインストラクション・リクエストペアを含む、キュレートされた多様なデータセット上でインストラクション合成器を学習する。
- コスト効率とスケーラビリティを確保するため、7Bパラメータのオープンソース言語モデルをインストラクション合成器のベースとして使用する。
- 訓練済みの合成器を、巨視的な生テキストコーパスに適用することで、40以上のタスクカテゴリにわたって2億個のインストラクション・リクエストペアを生成する。
- 標準的な因果的言語モデル化の目的関数を用いて、拡張されたコーパス上で言語モデルを事前学習する。
- ドメイン固有のデータ（例：ファイナンス、バイオメディスン）を用いた継続的事前学習を、インストラクション拡張コーパスを用いて実施し、ドメイン適応を向上させる。
実験結果
リサーチクエスチョン
- RQ1効果的にスケーリングされた監督付きマルチタスク事前学習は、言語モデルの性能において非監督学習を上回るか同等の性能を発揮できるか？
- RQ2オープンソースモデルに基づく合成器は、事前学習データ拡張のための高品質で多様なインストラクション・リクエストペアを効果的に生成できるか？
- RQ3インストラクション事前学習は、一般化性能および下流のインストラクションチューニング性能をどの程度向上させるか？
- RQ4インストラクション拡張による事前学習により、Llama3-8Bのような小規模モデルが、Llama3-70Bのような大規模モデルと同等のドメイン固有の設定での性能を達成できるか？
- RQ5インストラクション拡張事前学習に成功する要因として、データ品質と多様性が果たす役割は何か？
主な発見
- 1000億トークンのデータで事前学習された5億パラメータのモデルは、3000億トークンで事前学習された10億パラメータのモデルと同等の性能を示した。
- インストラクション事前学習で事前学習されたモデルは、標準的な事前学習と比較して、さらなるインストラクションチューニングによる性能向上が顕著に大きかった。
- 継続的事前学習において、インストラクション拡張データでファインチューニングされたLlama3-8Bは、ファイナンスおよびバイオメディスンのベンチマークでLlama3-70Bと同等またはそれ以上の性能を示した。
- 多様なデータセットで学習されたインストラクション合成器は、未学習の生テキストに対しても効果的に一般化でき、スケーラブルで高品質なデータ合成を可能にした。
- 合成されたインストラクション・リクエストペアは40以上のタスクカテゴリをカバーしており、知識カバレッジと正確性に優れており、効果的なマルチタスク学習を実現した。
- 本手法は高い転送性とスケーラビリティを示し、複数のドメインおよびモデルサイズで検証された結果が得られた。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。