[論文レビュー] SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling

Dahyun Kim, Chanjun Park+16 more|arXiv (Cornell University)|Dec 23, 2023

Natural Language Processing Techniques被引用数 7

ひとこと要約

SOLAR 10.7B は、深さ方向スケーリング（DUS）という単純で効果的な手法を導入し、32層の Llama 2 ベースモデルを深さ方向にスケーリングして 10.7B パラメータに拡大し、継続的プレトレーニングを実施することで、自然言語処理ベンチマークで最先端のパフォーマンスを達成。指令に従うタスクにおいて Mixtral-8x7B-Instruct を上回り、Apache 2.0 ライセンスで公開され、広範なアクセスが可能である。

ABSTRACT

We introduce SOLAR 10.7B, a large language model (LLM) with 10.7 billion parameters, demonstrating superior performance in various natural language processing (NLP) tasks. Inspired by recent efforts to efficiently up-scale LLMs, we present a method for scaling LLMs called depth up-scaling (DUS), which encompasses depthwise scaling and continued pretraining. In contrast to other LLM up-scaling methods that use mixture-of-experts, DUS does not require complex changes to train and inference efficiently. We show experimentally that DUS is simple yet effective in scaling up high-performance LLMs from small ones. Building on the DUS model, we additionally present SOLAR 10.7B-Instruct, a variant fine-tuned for instruction-following capabilities, surpassing Mixtral-8x7B-Instruct. SOLAR 10.7B is publicly available under the Apache 2.0 license, promoting broad access and application in the LLM field.

研究の動機と目的

• 複雑なアーキテクチャの変更なしに、単純で効率的かつ広く互換性のある大規模言語モデルのスケーリング手法を開発すること。
• 小規模モデルから高性能な大規模言語モデルをスケーリングする課題に取り組み、計算効率と使いやすさを維持すること。
• ファインチューニングにより指令に従う能力を向上させ、Mixtral-8x7B-Instruct や同様の MoE ベースの大きなモデルを上回るモデルを実現すること。
• Apache 2.0 ライセンスで SOLAR 10.7B 及びその指令微調整版を公開することで、オープンな研究を促進すること。

提案手法

• 深さ方向スケーリング（DUS）は、ベースモデルを複製し、一方のモデルの末尾から m 層、もう一方のモデルの先頭から m 層を削除した後、それらを統合してより深いモデルを構築する。
• この手法は Tan と Le (2019) が提唱した深さ方向スケーリングを変形し、トランスフォーマー・アーキテクチャに適応したものであり、Mixture-of-Experts や動的ルーティングを導入しない。
• スケーリング後に性能の回復と向上を図るため、スケーリング後のモデルは多様なデータセットのミックスを用いて継続的プレトレーニングを実施する。
• 指令に従うタスクを想定した微調整版である SOLAR 10.7B-Instruct は、Alpaca-GPT4、OpenOrca、Synth. Math-Instruct などの指令に従うデータセットを用いてファインチューニングされる。
• モデルのヘッドを統合する手法として、平均重み付けと SLERP が評価され、性能の安定性を考慮して「Merge v1」が選択された。
• このアプローチは HuggingFace や標準的な LLM フレームワークと完全に互換性があり、トレーニングや推論パイプラインに変更を加える必要がない。

Figure 1: Depth up-scaling for the case with $n=32,s=48,$ and $m=8$ . Depth up-scaling is achieved through a dual-stage process of depthwise scaling followed by continued pretraining.

実験結果

リサーチクエスチョン

• RQ1 複雑なアーキテクチャの変更なしに、単純な深さ方向スケーリング戦略が小規模言語モデルを高性能な大規模モデルに効果的にスケーリングできるか？
• RQ2 深さスケーリングの後、継続的プレトレーニングを実施することで、スケーリングのみに比べてモデル性能が顕著に向上するか？
• RQ3 深さ方向に拡大されたモデルが、Mixtral-8x7B-Instruct や同様のより大きな複雑なモデルを上回る性能を示せるか？
• RQ4 最終集約フェーズにおける異なるモデル統合戦略の影響はどの程度強いか？
• RQ5 DUS 法は、標準的な LLM フレームワークとのパフォーマンスと互換性をどの程度維持できるか？

主な発見

• SOLAR 10.7B は、複数の NLP ベンチマークで最先端のパフォーマンスを達成し、Llama 2 や Mistral 7B と比較してさまざまなタスクで優れた性能を示した。
• SOLAR 10.7B-Instruct は、評価されたすべての指令に従うタスクのメトリクスで Mixtral-8x7B-Instruct を上回り、適切にスケーリングされた小さなモデルが、より大きな MoE ベースのモデルを上回ることを示した。
• 深さ方向スケーリング（DUS）法により、トレーニングや推論フレームワークへの変更を最小限に抑えつつ、LLM の効率的スケーリングが可能となり、HuggingFace との互換性を維持した。
• 平均重み付けと SLERP を用いたモデル統合では、性能にほとんど差がなく、補完的な強みを持つ候補に対して、統合戦略の選択にかかわらず高いロバスト性を示した。
• モデルは Apache 2.0 ライセンスで公開され、コミュニティの広範なアクセスを可能にし、LLM 領域におけるオープンなイノベーションを促進した。
• 評価においてデータの汚染が低く抑えられており、強力なデータキュレーションとプロセッシングプロトコルが整っていることが示された。