[論文レビュー] Reuse, Don't Retrain: A Recipe for Continued Pretraining of Language Models

Jupinder Parmar, Sanjev Satheesh+3 more|arXiv (Cornell University)|Jul 9, 2024

Natural Language Processing Techniques被引用数 4

ひとこと要約

本論文は、大規模言語モデルの継続的微調整の実用的レシピを提案し、再訓練ではなく既存モデルの再利用に重点を置いている。データ分布のシフトと学習率スケジュールの最適化——特に知識集約的タスクを優遇する二段階のデータブレンドと、初期ウォームアップを伴うコサイン減衰スケジュール——により、ベースラインの継続的微調整に比べてMMLUで平均56.1%から54.6%の9%の精度向上を達成し、完全な再訓練なしで顕著な効率的向上が可能であることを示している。

ABSTRACT

As language models have scaled both their number of parameters and pretraining dataset sizes, the computational cost for pretraining has become intractable except for the most well-resourced teams. This increasing cost makes it ever more important to be able to reuse a model after it has completed pretraining; allowing for a model's abilities to further improve without needing to train from scratch. In this work, we detail a set of guidelines that cover how to design efficacious data distributions and learning rate schedules for continued pretraining of language models. When applying these findings within a continued pretraining run on top of a well-trained 15B parameter model, we show an improvement of 9\% in average model accuracy compared to the baseline of continued training on the pretraining set. The resulting recipe provides a practical starting point with which to begin developing language models through reuse rather than retraining.

研究の動機と目的

• 大規模言語モデルの事前学習に伴う計算コストの増加に対処し、事前に学習済みモデルの有効な再利用を可能にすること。
• 災害的忘却を引き起こさずにモデル能力を向上させる最適なデータ分布戦略を同定すること。
• 継続的微調整中の学習速度とモデル安定性のバランスを取る効果的な学習率スケジュールを特定すること。
• 一般用途言語モデルの能力を継続的微調整によって向上させる、移植可能な実用的レシピを提供すること。

提案手法

• 二段階のデータ分布を設計：第一段階は元の事前学習データ分布での継続的微調整；第二段階は知識集約的でタスク指向のデータ（例：QAデータセット）を強調するシフトされた分布。
• 学習量と減衰の急峻さのバランスを取るために、初期ウォームアップを伴うコサイン減衰スケジュールを実装し、性能の低下を防ぐ。
• 3000億の継続的微調整トークンで、事前学習データからタスク指向のデータへのデータ分布の切り替えを実施。
• E5-large-v2の埋め込みとFAISSを用いて、QA例に類似する50件の非QAドキュメントを特定し、長期間の訓練におけるデータの有用性を向上。
• 一般化のため、8兆トークンで事前学習された150億パラメータのモデルをベースモデルとして使用。
• 1000億〜1兆トークンの継続的微調整トークン数の範囲で、MMLUおよび各タスクのベンチマークで性能を評価。

Figure 1: Breakdown of the various distributions considered for the General Blend (GB). We use Upweight Non Web w/ High Quality Web as the GB moving forward given its strong performance across all evaluation areas.

実験結果

リサーチクエスチョン

• RQ1 元の能力が劣化しない範囲で、継続的微調整におけるパフォーマンス向上を最大化するデータ分布戦略は何か？
• RQ2 継続的微調整中に最も効率的かつ安定した学習を実現する学習率スケジュールは何か？
• RQ3 訓練プロセスのどの段階でデータ分布を切り替えるとモデルパフォーマンスが最適化されるか？
• RQ4 既存の事前学習データからドキュメントマイニングを実施することで、長期間の継続的微調整においてモデルの精度が向上するか？

主な発見

• 提案されたレシピは、元の事前学習分布での継続的微調整に比べ、MMLUの平均精度を56.1%から54.6%まで9%向上（最高56.1%）。
• 3000億トークンの継続的微調整でデータ分布を切り替えると最高のパフォーマンスが得られ、それより前または後に切り替えるよりも優れている。
• 最大学習率の1/10で初期ウォームアップを伴うコサイン学習率スケジュールが、最も効果的な学習ダイナミクスを生み出している。
• このレシピは訓練期間にかかわらず一貫してパフォーマンスを向上させ、1兆トークンの継続的微調整でベースモデルに比べ16%の精度向上を達成。
• 事前学習データからQAに類似するドキュメントをマイニングすることで、MMLUの精度が56.8%から57.9%に上昇し、データの有用性が向上していることが示された。
• このレシピは1000億〜1兆トークンの広い継続的微調整スケールで強力で効果的であり、強力な移植可能性を示している。

Figure 2: Various distributions of QA data. We use Blend 3.