[論文レビュー] Do Generative Large Language Models need billions of parameters?

Sia Gholami, Marwan Omar|arXiv (Cornell University)|Sep 12, 2023

Topic Modeling被引用数 4

ひとこと要約

本稿では、埋め込み層の因子分解と層間パラメータ共有を用いてパラメータ数を削減することで、極めて効率的な大規模言語モデルGPT-Efficioを提案する。この手法により、非常に少ないパラメータ数で競争力のある性能を達成しており、強力な生成能力を発揮するには数十億のパラメータを必要としないことを示している。

ABSTRACT

This paper presents novel systems and methodologies for the development of efficient large language models (LLMs). It explores the trade-offs between model size, performance, and computational resources, with the aim of maximizing the efficiency of these AI systems. The research explores novel methods that allow different parts of the model to share parameters, reducing the total number of unique parameters required. This approach ensures that the model remains compact without sacrificing its ability to learn and represent complex language structures. This study provides valuable insights and tools for creating more efficient and effective LLMs, contributing to a more sustainable and accessible future for AI language modeling.

研究の動機と目的

• 生成型大規模言語モデルが高パフォーマンスを発揮するために本当に数十億のパラメータを必要とするのかを調査すること。
• パラメータ数の削減により、大規模モデルのトレーニングおよびデプロイに伴う計算コストとエネルギー消費を低減すること。
• 新規なパラメータ共有および因子分解技術を用いて、モデルの効率性、アクセス可能性、持続可能性を向上させること。
• リソース制約のあるデバイスや低リソース環境においても、先進的なNLP機能をデプロイ可能にする。
• パラメータを層間および埋め込み部品に戦略的に共有することで、モデルの表現力と複雑さのバランスを図ること。

提案手法

• 高次元の埋め込みを低ランク行列に分解する埋め込み層の因子分解を適用し、入力プロジェクション層のパラメータ数を削減する。
• 複数のTransformer層にわたるパラメータ共有を実装し、異なる層に同じ重みを共有することで、独自のパラメータ数を削減する。
• 層間で共通のアテンションおよびフィードフォワードネットワーク構造を採用し、モデルアーキテクチャ内の冗長性を最小限に抑える。
• パラメータ数の削減にもかかわらずパフォーマンスを維持できるように、修正されたトレーニング目的関数を用い、適切な初期化と正則化を実施する。
• モデルの深さとタスクの複雑さに応じて、パラメータ共有の範囲を制御するメカニズムを導入する。
• さまざまなNLPベンチマークを用いたアブレーションスタディを通じて、共有パラメータと独自パラメータの比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 戦略的なパラメータ共有を用いることで、顕著に少ないパラメータ数で生成型Transformerモデルが強力なパフォーマンスを維持できるか？
• RQ2 埋め込み層の因子分解は、大規模言語モデルにおけるモデル容量および推論品質にどのように影響を与えるか？
• RQ3 層間のパラメータ共有をした場合、モデル効率性、トレーニング安定性、パフォーマンスの間にはどのようなトレードオフが生じるか？
• RQ4 パラメータ共有をどれほど適用すれば、一般化性能や制御性を損なわず、計算コストとエネルギー消費を低減できるか？
• RQ5 どのNLPタスクにおいて、パラメータ共有が性能劣化を伴わずに最も顕著な効率的向上をもたらすか？

主な発見

• 提案されたGPT-Efficioモデルは、標準的な数十億パラメータモデルと比較して顕著に少ないパラメータ数であるにもかかわらず、標準的なNLPベンチマークで競争力のあるパフォーマンスを達成している。
• 埋め込み層の因子分解により、入力プロジェクション層のパラメータ数が最大70％まで削減されたが、パフォーマンスの著しい低下は見られなかった。
• 層間パラメータ共有により、合計の独自パラメータ数が約40〜50％削減されたが、テキスト生成および質問応答タスクにおいても競争力ある正確性を維持した。
• ベースラインモデル（パラメータ共有なし）と同等のアーキテクチャを持つモデルと比較して、GPT-Efficioはトレーニング収束が早く、推論遅延も低かった。
• 実証的結果から、パラメータ共有は低リソースデータおよび分布外データにおける一般化を向上させ、過学習のリスクを低減することが示された。
• アブレーションスタディの結果、パラメータ共有はアテンションおよびフィードフォワードサブレイヤーに適用した場合に最も効果的であり、すべてのコンponentに適用すると効果が薄れることが確認された。