[論文レビュー] Rethinking Learning Rate Tuning in the Era of Large Language Models

Hongpeng Jin, Wenqi Wei+3 more|arXiv (Cornell University)|Sep 16, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

この論文は、大規模言語モデル（LLM）における学習率（LR）チューニングにおける一般的な常識に挑戦し、標準的なポリシー（例：コサインスケジューリング）が固定学習率よりもしばしば性能が劣ることを示している。著者たちは LRBench++ を用いて DNN および LLM における LR ポリシーをベンチマーク化し、訓練損失が LLM のタスクパフォーマンスの良い代理指標ではないこと、固定 LR スケジュールが特に ARC および HellaSwag ベンチマークにおいて適応的ポリシーを上回ることを明らかにした。

ABSTRACT

Large Language Models (LLMs) represent the recent success of deep learning in achieving remarkable human-like predictive performance. It has become a mainstream strategy to leverage fine-tuning to adapt LLMs for various real-world applications due to the prohibitive expenses associated with LLM training. The learning rate is one of the most important hyperparameters in LLM fine-tuning with direct impacts on both fine-tuning efficiency and fine-tuned LLM quality. Existing learning rate policies are primarily designed for training traditional deep neural networks (DNNs), which may not work well for LLM fine-tuning. We reassess the research challenges and opportunities of learning rate tuning in the coming era of Large Language Models. This paper makes three original contributions. First, we revisit existing learning rate policies to analyze the critical challenges of learning rate tuning in the era of LLMs. Second, we present LRBench++ to benchmark learning rate policies and facilitate learning rate tuning for both traditional DNNs and LLMs. Third, our experimental analysis with LRBench++ demonstrates the key differences between LLM fine-tuning and traditional DNN training and validates our analysis.

研究の動機と目的

• 大規模言語モデル（LLM）ファインチューニングの文脈において、従来の DNN の仮定がもはや成り立たない場合に、既存の学習率ポリシーの有効性を再評価すること。
• 訓練損失とタスク固有のパフォーマンス指標の間の乖離といった、LLM における学習率チューニングの核心的な課題を特定すること。
• LRBench++ を開発・検証し、従来の DNN および LLM の両方における学習率ポリシーの体系的評価を可能にするベンチマークツールとしての役割を果たすこと。
• 固定学習率スケジュールが、LLM ファインチューニングにおいて広く使われている適応的スケジュール（例：コサインスケジューリング）を上回ることを実証的根拠で示すこと。
• LLM ファインチューニングの独自のダイナミクスに適合した、コスト効率的でパフォーマンス指向の LR チューニング戦略への今後の研究の方向性を示すこと。

提案手法

• 従来の DNN 訓練とは対照的に、LLM ファインチューニングの文脈における学習率ポリシー（例：コサインスケジューリング、ウォームアップ、ReduceLROnPlateau）を再評価すること。
• DNN および LLM の両方の文脈で、ハイパーパramータ設定、訓練プロトコル、評価メトリクスを標準化する LRBench++ というベンチマークフレームワークを設計・実装すること。
• 訓練損失以外の複数の評価メトリクスを統合し、ARC や HellaSwag といったタスク固有のベンチマークを用いて、ファインチューニング済みモデルのパフォーマンスを評価すること。
• 複数の LLM（例：Alpaca-7B、Vicuna-7B、WizardLM-7B）およびデータセットを用いた制御実験を実施し、固定、コサイン、ウォームアップの LR スケジュールを比較すること。
• Adam をデフォルトの最適化手法として採用し、勾配ベースの最適化を実施。パラメータ更新は標準的な Adam 更新式に従う：$\Theta_{t+1} = \Theta_t - \eta(t) \frac{\hat{M}_t}{\sqrt{\hat{V}_t} + \epsilon}$。
• 訓練損失の推移と下流タスクパフォーマンスの相関関係を分析し、特にエポック 2 および 3 で顕著な低下を示す非単調的・段階的（stair-step）な損失パターンを特定し、これがモデルの改善を示すサインであることを明らかにすること。

実験結果

リサーチクエスチョン

• RQ1 従来の DNN を想定した学習率ポリシー（例：コサインスケジューリング）が、LLM ファインチューニングに適用された場合、どのように機能するか？
• RQ2 LLM ファインチューニングの過程で、訓練損失と下流タスクパフォーマンス（例：ARC、HellaSwag）との相関関係はどの程度高いか？
• RQ3 特定のベンチマークにおいて、固定学習率スケジュールがコサインスケジューリングなどの適応的スケジュールを上回る可能性はどの程度高いか？
• RQ4 LLM ファインチューニングと従来の DNN 訓練との間で、最適化ダイナミクスの主な違いは何か？ これにより、学習率ポリシーの有効性がどのように影響を受けるか？
• RQ5 標準化されたベンチマークフレームワーク（例：LRBench++）は、LLM における学習率ポリシーの体系的評価と選定をどのように改善できるか？

主な発見

• 固定学習率スケジュール（例：一定の $2 \times 10^{-5}$）は、ARC および HellaSwag ベンチマークにおいて、コサインスケジューリングなどの適応的ポリシーを常に上回り、最高のタスク固有の正確性を達成した。
• LLM ファインチューニングにおける訓練損失は、非単調的かつ段階的な低下を示すパターンを示すことが判明した。特にエポック 2 および 3 で顕著な低下が見られ、損失がモデルパフォーマンスの信頼できる代理指標ではないことを示している。
• 固定 LR が $2 \times 10^{-5}$ の場合、他のスケジュールよりも訓練損失が高かったが、ARC および HellaSwag でのパフォーマンスが最も優れていた。これは、損失とタスク正確性の間に乖離があることを示している。
• 実際の運用で広く採用されている LR ポリシー（例：Vicuna-7B や WizardLM-7B における $2 \times 10^{-5}$ のコサインスケジューリング）が最適な結果をもたらさないことが判明した。これは、現在のデフォルト設定が非効率である可能性を示唆している。
• 状態ベースの LR スケジューラー（例：ReduceLROnPlateau）は、LLM ファインチューニングにおいて効果を発揮しない。これは、損失のモニタリングに依存するが、実際のタスクパフォーマンスを反映していないためである。
• 実験結果から、LLM ファインチューニングには従来の DNN 訓練とは異なる独自の最適化ダイナミクスが存在することが確認され、学習率チューニング戦略の再考が不可欠であることが示された。