[論文レビュー] Deep Learning Scaling is Predictable, Empirically

Joel Hestness, Sharan Narang+7 more|arXiv (Cornell University)|Dec 1, 2017

Topic Modeling参考文献 33被引用数 417

ひとこと要約

この論文は、4つの深層学習領域における訓練データ量と一般化誤差およびモデルサイズのスケーリングを経験的に特徴づけ、領域依存の指数を持つべき乗則の学習曲線とサブ線形のモデルサイズ成長を示す。

ABSTRACT

Deep learning (DL) creates impactful advances following a virtuous recipe: model architecture search, creating large training data sets, and scaling computation. It is widely believed that growing training sets and models should improve accuracy and result in better products. As DL application domains grow, we would like a deeper understanding of the relationships between training set size, computational scale, and model accuracy improvements to advance the state-of-the-art. This paper presents a large scale empirical characterization of generalization error and model size growth as training sets grow. We introduce a methodology for this measurement and test four machine learning domains: machine translation, language modeling, image processing, and speech recognition. Our empirical results show power-law generalization error scaling across a breadth of factors, resulting in power-law exponents---the "steepness" of the learning curve---yet to be explained by theoretical work. Further, model improvements only shift the error but do not appear to affect the power-law exponent. We also show that model size scales sublinearly with data size. These scaling relationships have significant implications on deep learning research, practice, and systems. They can assist model debugging, setting accuracy targets, and decisions about data set growth. They can also guide computing system design and underscore the importance of continued computational scaling.

研究の動機と目的

• DL領域全体で訓練データセットサイズと一般化誤差のスケーリングを理解する。
• 訓練データが増えると必要なモデルサイズがどのように増大するかを特徴づける。
• スケーリング指数がモデルや領域を超えて一貫しているかを特定する。
• スケーリング傾向に基づくデータ収集、モデル設計、計算資源計画に関する実践的指針を提供する。

提案手法

• 最先端（SOTA）モデルのハイパーパラメータを最小化したバリアントを、順に大きくなる訓練データの断片で訓練する。
• 定数項を含むべき乗則形式に学習曲線を適合させ、指数を推定する。
• NMT、言語モデリング、画像分類、音声認識における領域特有のスケーリングを探る。
• データサイズとモデルサイズのスケーリングを比較し、サブ線形成長のパターンを評価する。
• 正則化を除去して容量主導の効果を観察する対照実験を行う。
• モンテカルログリッド探索を用いて、塊サイズごとに最適な適合モデルを特定する。

実験結果

リサーチクエスチョン

• RQ1 複数の領域とアーキテクチャにわたって、一般化誤差の曲線はべき乗則に従うか？
• RQ2 データに適合するために必要なモデルサイズは訓練セットサイズとともにどのようにスケールし、成長はサブ線形か？
• RQ3 異なる領域のスケーリング指数は、モデル種別、オプティマイザ、損失指標に頑健か？
• RQ4 DLにおけるデータと計算計画へのスケーリング法則の実用的影響は何か？

主な発見

• 一般化誤差は、すべての検証領域で訓練データサイズとべき乗則スケーリングを示し、指標β_gは通常 -0.07 から -0.35 の間で、古典理論より大きさが小さい。
• モデルサイズはデータサイズとともにサブ線形に成長し、β_pは領域によって通常 0.5 から 1.0 の間。
• 複合（最適適合）学習曲線は、単一モデル曲線を超えてべき乗則領域を拡張し、実効ベータを小さくする（例：NMTでは約 -0.128）。
• 領域ごとに切片と指数が異なるが、学習曲線の急さは、同じ領域内でモデルや最適化手法を跨いでも一貫しがちである。
• データが増えるにつれ、モデルは小データ領域からべき乗則領域へ移行し、最終的には不可約誤差（Bayes誤差）領域へ向かう。
• 結果は、データ収集、モデル設計、計算リソースの計画にスケーリング曲線を用いることを支持する。