[論文レビュー] Scaling Laws for Transfer

Danny Hernandez, Jared Kaplan+2 more|arXiv (Cornell University)|Feb 2, 2021

Topic Modeling参考文献 26被引用数 26

ひとこと要約

この論文は、教師なし微調整における分布間の転移学習の経験的スケーリング則を導出し、実効データ転送量 D_T を導入し、それがモデルサイズと微調整データの組み合わせのオーダーオブマグニチュードを通じてべき乗則に従うことを示す。

ABSTRACT

We study empirical scaling laws for transfer learning between distributions in an unsupervised, fine-tuning setting. When we train increasingly large neural networks from-scratch on a fixed-size dataset, they eventually become data-limited and stop improving in performance (cross-entropy loss). When we do the same for models pre-trained on a large language dataset, the slope in performance gains is merely reduced rather than going to zero. We calculate the effective data "transferred" from pre-training by determining how much data a transformer of the same size would have required to achieve the same loss when training from scratch. In other words, we focus on units of data while holding everything else fixed. We find that the effective data transferred is described well in the low data regime by a power-law of parameter count and fine-tuning dataset size. We believe the exponents in these power-laws correspond to measures of the generality of a model and proximity of distributions (in a directed rather than symmetric sense). We find that pre-training effectively multiplies the fine-tuning dataset size. Transfer, like overall performance, scales predictably in terms of parameters, data, and compute.

研究の動機と目的

• 教師なし微調整設定における分布間の転移を特徴づける。
• 事前学習がデータ効率性に与える影響を、実効データ転送指標 D_T を用いて定量化する。
• モデルサイズ、微調整データ、および転送データを結ぶべき乗則関係を特定する。
• データが限られた条件下で、事前学習が性能を改善するのか妨げるのか（ ossification ）を評価する。

提案手法

• 幅広いサイズ範囲（4オーダーの大きさ）とデータ条件でトランスフォーマーモデルを訓練する（ゼロから、言語の事前学習を経たコードでの微調整、混合の事前学習など）。
• 実効データ転送量 D_T を定義・計算する。これは、同じサイズのゼロから訓練したモデルが下流タスクで同じ損失を達成するのに必要なデータ量を指す。
• D_T をべき則形 D_T = k (D_F)^{alpha} (N)^{beta} に適合させ、分布に応じて alpha、beta、k がどのように変化するかを分析する。
• クロスエントロピー損失 L を用いて性能を評価し、低データ域と高データ域を判定する（D_F が D(N) に対してどの程度か）。
• テキストからコードへの転移と、テキストとコードを混合した事前学習からの転移を比較し、 ossification と計算効率に対する事前学習の影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 実効データ転送量 D_T がモデルサイズ N と微調整データ D_F に対してどのようにスケールするか？
• RQ2 転移係数（k、alpha、beta）は出典分布とターゲット分布に依存するか、またそれらは分布の近さを何に示唆するか？
• RQ3 低データ条件下で、事前学習がデータ効率と計算効率の前線にどのように影響するか？
• RQ4 より大きなデータ条件下で、事前学習が微調整の性能を害すること（ossification）はあり得るか？
• RQ5 これらのスケーリング則が、事前学習データの構成やモデルサイズ選択にどのような実践的示唆を与えるか？

主な発見

• D_T は低データ域でべき乗則に従う：D_T = k (D_F)^{alpha} (N)^{beta}。
• テキストから Python への転移では、beta ≈ 0.38、alpha ≈ 0.18、k ≈ 1.9e4。テキスト50%、非Pythonコード50%の場合は、beta ≈ 0.38、alpha ≈ 0.096、k ≈ 2.1e5。
• 事前学習は低データ域で微調整データセットを実質的に増やし、データ効率を高め、微調整の計算効率を向上させる。
• OSSは、特に大規模な下流データセットで訓練された小規模モデルにおいて、事前学習が適応を害する場合に発生し得る。
• 転移係数は分布の近さを安価かつ方向性のある指標として提供し、微調整データの収集とモデルサイズの拡大のトレードオフを導くことができる。
• 低データ域では、微調整はゼロからの訓練より一般に計算効率が高いが、下流データが増えるにつれてこの利点は薄れていく。