[論文レビュー] GrowLength: Accelerating LLMs Pretraining by Progressively Growing Training Length

Hongye Jin, Xiaotian Han+4 more|arXiv (Cornell University)|Oct 1, 2023

Topic Modeling被引用数 4

ひとこと要約

この論文では、事前学習中の入力シーケンス長を128トークンから4096トークンへ段階的に増加させることで、大規模言語モデル（LLM）の事前学習を高速化するGrowLengthという手法を提案する。短いシーケンスから始め、徐々に長くしていくことで、追加の工学的処理を要せず、計算効率とモデル性能を向上させることができ、同じ時間により多くのトークンを処理でき、固定長のベースラインと比較して訓練損失が低くなる。

ABSTRACT

The evolving sophistication and intricacies of Large Language Models (LLMs) yield unprecedented advancements, yet they simultaneously demand considerable computational resources and incur significant costs. To alleviate these challenges, this paper introduces a novel, simple, and effective method named ``\growlength'' to accelerate the pretraining process of LLMs. Our method progressively increases the training length throughout the pretraining phase, thereby mitigating computational costs and enhancing efficiency. For instance, it begins with a sequence length of 128 and progressively extends to 4096. This approach enables models to process a larger number of tokens within limited time frames, potentially boosting their performance. In other words, the efficiency gain is derived from training with shorter sequences optimizing the utilization of resources. Our extensive experiments with various state-of-the-art LLMs have revealed that models trained using our method not only converge more swiftly but also exhibit superior performance metrics compared to those trained with existing methods. Furthermore, our method for LLMs pretraining acceleration does not require any additional engineering efforts, making it a practical solution in the realm of LLMs.

研究の動機と目的

• 大規模言語モデルの事前学習における高い計算コストと長い訓練時間に対処すること。
• 事前学習中に動的シーケンス長を用いることで、訓練効率とモデル性能を向上させられるかどうかを調査すること。
• 微調整段階で成功したコンテキスト窓拡張技術を、事前学習段階に適応すること。
• リソース利用効率を向上させるシンプルで効果的かつ即座に統合可能な方法を開発すること。
• 段階的に成長するシーケンス長で訓練することで、収束が速くなり、一般化性能が向上することを実証すること。

提案手法

• この手法は、事前学習中に段階的に入力シーケンス長を増加させ、初期は128トークンから始め、最終的に4096トークンに到達する。
• 初期段階で計算スループットとリソース利用効率を最大化するために、短いシーケンスから訓練を開始する。
• シーケンス長は段階的に増加する（例：128 → 256 → 512 → 1024 → 2048 → 4096）ことで、モデルが段階的に長距離依存関係を学習できる。
• このアプローチは、量子化、プルーニング、FlashAttentionといった既存の高速化技術とは直交しており、それらと組み合わせて使用できる。
• 各シーケンス長における訓練比率は、各長さに費やす時間の割合を制御するためにヒューリスティックに選定される。
• 短いシーケンスは計算的に安価であり、シーケンス長が徐々に増加する中でモデルがより長いコンテキストに一般化できるという洞察を活用している。

実験結果

リサーチクエスチョン

• RQ1 LLMの事前学習中に段階的に入力シーケンス長を増加させることで、訓練を高速化し、モデル性能を向上させられるか？
• RQ2 最初に短いシーケンスで訓練し、徐々に長くしていくことで、トークン効率が向上し、収束が速くなるか？
• RQ3 この方法は、シーケンス長の進行スケジュールや比率の選択にどれほど感度を示すか？
• RQ4 同じ訓練時間内において、固定長シーケンスベースラインと比較して、この方法は訓練損失と下流性能の両面で優れているか？
• RQ5 GrowLengthは、位置外挿拡張性と長距離コンテキスト一般化性をどの程度向上させるか？

主な発見

• 同じ期間訓練した場合、GrowLengthで訓練されたモデルは、固定長ベースライン（例：LLM128やLLM1024）よりも低い訓練損失を達成する。
• この方法により、同じ訓練時間に著しく多くのトークンを処理できるようになり、データ効率が向上する。
• 収束速度と最終的な性能の両面で、短いシーケンス（128）および長いシーケンス（1024）の固定長ベースラインを上回る。
• シーケンス長の進行スケジュールの比率にかかわらず、この方法は頑健であり、256のような中間長の長さを省略しても最小限の性能低下にとどまる。
• シーケンス長の急激な増加（例：128から1024に）は、訓練損失の急激な上昇と性能の低下を引き起こし、急激な変更に敏感であることが示された。
• GrowLengthは、入力シーケンス長の観点からLLMの事前学習を高速化する最初の手法であり、既存の高速化技術と互換性がある即座に統合可能なソリューションを提供する。