[論文レビュー] Universal scaling laws in the gradient descent training of neural networks

Maksim Velikanov, Dmitry Yarotsky|arXiv (Cornell University)|May 2, 2021

Stochastic Gradient Optimization Techniques参考文献 30被引用数 5

ひとこと要約

本稿は、広いニューラルネットワークの勾配降下訓練における損失の普遍的なべき乗則スケーリング則を確立し、損失が $ L(t) \sim t^{-\xi} $ と減少することを示している。ここで指数 $ \xi $ は、データ次元 $ d $、活性化関数の滑らかさ、およびターゲット関数クラスにのみ依存する。ニューラル接線カーネル（NTK）のスペクトル解析を用いて、損失、固有値、係数分布の明示的漸近形を導出し、多様なデータおよび活性化関数において普遍性を確認した。

ABSTRACT

Current theoretical results on optimization trajectories of neural networks trained by gradient descent typically have the form of rigorous but potentially loose bounds on the loss values. In the present work we take a different approach and show that the learning trajectory can be characterized by an explicit asymptotic at large training times. Specifically, the leading term in the asymptotic expansion of the loss behaves as a power law $L(t) \sim t^{-ξ}$ with exponent $ξ$ expressed only through the data dimension, the smoothness of the activation function, and the class of function being approximated. Our results are based on spectral analysis of the integral operator representing the linearized evolution of a large network trained on the expected loss. Importantly, the techniques we employ do not require specific form of a data distribution, for example Gaussian, thus making our findings sufficiently universal.

研究の動機と目的

• 広いニューラルネットワークにおける勾配降下の長時間挙動を定量的かつ普遍的な理論として構築すること。
• 緩い境界を超えた訓練損失の漸近的減少を、明示的なべき乗則形で特徴付けること。
• 損失減少指数 $ \xi $ がデータ次元 $ d $、活性化関数の滑らかさ、およびターゲット関数クラスにどのように依存するかを同定すること。
• これらのスケーリング則がデータ分布に依存しないことを確立し、広く適用可能であることを示すこと。
• さまざまなデータ分布における固有値および係数分布の数値実験を通じて、理論的予測を検証すること。

提案手法

• 期待損失に基づく広いネットワークの線形化された進化作用素にスペクトル解析を適用する。
• ニューラル接線カーネル（NTK）を用いて訓練ダイナミクスをモデル化し、その固有値スペクトルと固有関数展開に焦点を当てる。
• 損失 $ L(t) \sim t^{-\xi} $、固有値 $ \lambda_n \sim n^{-\nu} $、係数部分和 $ s_n \sim n^{-\kappa} $ の漸近的べき乗則を導出する。
• 特異積分作用素理論を用いてNTKの構造を解析し、特に次数1の同次特異性に注目する。
• 損失指数 $ \xi $ を活性化関数の滑らかさとターゲット関数の滑らかさによって関連づけ、$ \xi = \frac{\beta}{d+\alpha} $ と表す。ここで $ \beta $ と $ \alpha $ は滑らかさを符号化する。
• 浅いReLUおよびErf活性化関数を用いた数値実験を通じて、さまざまなデータ分布における理論的予測を確認する。

実験結果

リサーチクエスチョン

• RQ1 広いニューラルネットワークにおける長時間勾配降下の損失の明示的漸近形は何か？
• RQ2 損失減少指数 $ \xi $ はデータ次元 $ d $、活性化関数の滑らかさ、およびターゲット関数クラスにどのように依存するか？
• RQ3 損失減少がデータ分布に依存しないべき乗則として普遍的に特徴付けられるか？
• RQ4 NTKの固有値スペクトルと損失減少ダイナミクスの間にはどのような関係があるか？
• RQ5 ターゲット関数の固有関数展開における係数は、損失スケーリングにどのように寄与するか？

主な発見

• 損失は $ L(t) \sim t^{-\xi} $ と減少し、特にReLUネットワークでインジケータ関数を近似する場合、$ \xi = \frac{1}{d+1} $ となる。
• ランダムに初期化された広いReLUネットワークによって生成されるターゲット関数に対しては、$ \xi = \frac{3}{d+1} $ となる。
• ReLU活性化関数ではNTKの固有値がべき乗則 $ \lambda_n \sim n^{-1 - \frac{1}{d}} $ に従うが、Erf活性化関数では指数関数的に $ \lambda_n \sim \Lambda e^{-an} $ と減少する。
• 固有関数展開における係数部分和は、ガウス過程（GP）ターゲットでは $ s_n \sim n^{-\frac{3}{d}} $、インジケータターゲットでは $ s_n \sim n^{-\frac{1}{d}} $ とスケーリングする。
• 損失、固有値、係数の理論的べき乗則は、$ d=2 $ および $ d=4 $ における数値実験で確認された。
• スケーリング則はデータ分布に対して頑健である：対称分布は退化した固有値スペクトルを誘発するが、非対称な混合分布はスペクトルを滑らかにするが、べき乗則は依然として成立する。