[論文レビュー] Scaling Laws for Deep Learning

Jonathan S. Rosenfeld|arXiv (Cornell University)|Aug 17, 2021

Generative Adversarial Networks and Image Synthesis参考文献 68被引用数 25

ひとこと要約

本論文は、深層学習の訓練とプルーニングがビジョンと言語のタスク全体で予測可能なスケーリング則に従うことを示し、小規模な測定から性能を予測する建設的なフレームワークを提供するとともに、有限データの下でほぼ理想的な一般化に近づけるNyquist学習者を目指す方向性を提案する。

ABSTRACT

Running faster will only get you so far -- it is generally advisable to first understand where the roads lead, then get a car ... The renaissance of machine learning (ML) and deep learning (DL) over the last decade is accompanied by an unscalable computational cost, limiting its advancement and weighing on the field in practice. In this thesis we take a systematic approach to address the algorithmic and methodological limitations at the root of these costs. We first demonstrate that DL training and pruning are predictable and governed by scaling laws -- for state of the art models and tasks, spanning image classification and language modeling, as well as for state of the art model compression via iterative pruning. Predictability, via the establishment of these scaling laws, provides the path for principled design and trade-off reasoning, currently largely lacking in the field. We then continue to analyze the sources of the scaling laws, offering an approximation-theoretic view and showing through the exploration of a noiseless realizable case that DL is in fact dominated by error sources very far from the lower error limit. We conclude by building on the gained theoretical understanding of the scaling laws' origins. We present a conjectural path to eliminate one of the current dominant error sources -- through a data bandwidth limiting hypothesis and the introduction of Nyquist learners -- which can, in principle, reach the generalization error lower limit (e.g. 0 in the noiseless case), at finite dataset size.

研究の動機と目的

• 最先端タスクにおいて、一般化誤差がデータサイズとモデル容量とともにどうスケールするかを理解する。
• 小規模な測定からモデル性能を予測的に表す建設的な法則を開発する。
• プルーニングと圧縮へのスケーリング分析を拡張し、デプロイメントの意思決定を情報化する。
• 近似ベースの観点からスケーリング則の起源を調査する。
• データ帯域幅の制限とNyquist学習者を通じて誤差を減らす将来の方向性を提案する。

提案手法

• 多様なデータセット（視覚と言語）とモデルスケールにわたって一般化誤差を経験的に特性化する。
• データサイズとモデルサイズの関数として誤差を記述する結合関数形（スケーリング法）を適合させる。
• Iterative Magnitude Pruning (IMP) を用いて剪定済みネットワークをモデル化するため、スケーリングフレームワークを拡張する。
• 近似理論的枠組み（リアライザビリティ、不確実性、学習欠陥、ノイズ）の観点から誤源を分析する。
• 誤源を分離し予測を検証するための実現可能な教師-生徒設定を構築して予測を検証する。
• 下限の一般化誤差界に近づくための理論的道筋（データ帯域幅制限、Nyquist学習者）を提案する。

実験結果

リサーチクエスチョン

• RQ1 最先端モデルにおける一般化誤差、データサイズ、モデル容量との関数的関係はどのようになるか？
• RQ2 建設的で予測的なスケーリング則は、さまざまなデータ規模で目標誤差を達成するのに必要な正確なモデル構成を特定できるか？
• RQ3 IMPを用いた剪定は一般化誤差にどう影響するか、すべての剪定ネットワーク構成を説明する結合スケーリング則は存在するか？
• RQ4 深層学習の一般化に支配的な誤差源はどれで、スケーリング挙動にどう影響するか？
• RQ5 有限データでほぼ最適な一般化を達成できる理論条件は何か（Nyquist learners）？

主な発見

• 視覚と言語のタスクを横断して、データサイズとモデルサイズの両方の関数として一般化誤差を正確に描述する結合スケーリング則がある。
• Iterative Magnitude Pruning (IMP) による剪定は予測可能なスケーリング則に従い、深さ、幅、剪定密度の順序性を誤差を保持したまま交換可能にする不変量が存在する。
• 近似中心の観点から、学習不確実性と学習欠陥が、研究された領域で実現可能性よりも支配的な誤差源であると特定される。
• 実現可能な教師-生徒設定は、実現可能性が誤差の唯一の推進力ではないことを示しており、他の支配的な誤差源のケースを強化する。
• Nyquist学習者へ向かう推測的な道筋は、データ帯域幅の制約が有限データ下でより低い誤差境界を達成可能にする可能性を示唆する。