[論文レビュー] The Surprising Simplicity of the Early-Time Learning Dynamics of Neural Networks

Wei Hu, Lechao Xiao+2 more|arXiv (Cornell University)|Jun 25, 2020

Stochastic Gradient Optimization Techniques参考文献 54被引用数 13

ひとこと要約

この論文は、やや広い幅と穏やかな入力分布の仮定の下で、2層の全結合ニューラルネットワークの初期学習ダイナミクスが、入力データ上で単純な線形モデルを学習することで正確に再現可能であることを示している。主な結果は、初期化時のニューラルタングエントロピー・カーネル（NTK）が線形モデルのカーネルに非常に近いことを示すスペクトルノルムの上限であり、ネットワークの非線形性にもかかわらず初期学習段階で驚くほど単純な挙動を示すことが明らかになった。

ABSTRACT

Modern neural networks are often regarded as complex black-box functions whose behavior is difficult to understand owing to their nonlinear dependence on the data and the nonconvexity in their loss landscapes. In this work, we show that these common perceptions can be completely false in the early phase of learning. In particular, we formally prove that, for a class of well-behaved input distributions, the early-time learning dynamics of a two-layer fully-connected neural network can be mimicked by training a simple linear model on the inputs. We additionally argue that this surprising simplicity can persist in networks with more layers and with convolutional architecture, which we verify empirically. Key to our analysis is to bound the spectral norm of the difference between the Neural Tangent Kernel (NTK) at initialization and an affine transform of the data kernel; however, unlike many previous results utilizing the NTK, we do not require the network to have disproportionately large width, and the network is allowed to escape the kernel regime later in training.

研究の動機と目的

• 高容量かつ非凸最適化のランドスケープを持つ現代の深層ニューラルネットワークが、なぜ一般化性能を発揮するのかを理解すること。
• ニューラルネットワークが複雑な関数を学習するのは訓練の後期に限られるのか、それとも初期段階で単純な線形関数を学習するのかを調査すること。
• 2層の全結合ネットワークの初期学習ダイナミクスが、良好な入力分布のもとで線形モデルと等価であることを形式的に証明すること。
• 全結合ネットワークにとどまらず、深層および畳み込みニューラルネットワーク（CNN）のアーキテクチャに対しても、理論的および実験的にその知見を拡張すること。

提案手法

• 著者らは、初期化時の2層ReLUネットワークのニューラルタングエントロピー・カーネル（NTK）とデータカーネルのアフィン変換との差のスペクトルノルムを上限で制御する。
• 濃度不等式とホーフィングの不等式を用いて、ランダムな重み初期化のもとでNTKが線形モデルカーネルからどれほど逸脱するかを制御する。
• 学習ダイナミクスの同等性を確立するために、Frobeniusノルムではなくスペクトルノルムに依存する分析が鍵となる。
• この手法は、任意の一般的な活性化関数に適用可能であり、超広い幅やカーネル領域に限定されない。
• 理論的考察と実験的検証を、深層ネットワークおよび畳み込みアーキテクチャ（CNN）へと拡張し、初期学習段階で一貫した線形的挙動が観察されることを示した。
• CNNの場合は、第1層および第2層のNTKを導出し、同様の濃度技法を用いて線形カーネルからの逸脱を上限で制御した。

実験結果

リサーチクエスチョン

• RQ1 2層の全結合ニューラルネットワークの初期学習ダイナミクスは、入力データ上で線形モデルを用いて正確に再現可能か？
• RQ2 深さや畳み込み構造を持つネットワークにおいても、初期学習の単純さは維持されるか？
• RQ3 スペクトルノルムは、NTKと線形モデルカーネルの類似性をどのように特徴づけるか？
• RQ4 ネットワークの幅が初期学習における線形近似の有効性に与える影響は何か？
• RQ5 ネットワークが最終的にカーネル領域から脱出しても、線形近似は成立するか？

主な発見

• 2層ReLUネットワークのNTKと線形モデルカーネルとの差のスペクトルノルムは、$ O(n / d^{1+α}) $ で有界であり、初期学習ダイナミクスが線形モデルによってよく近似されることを示唆している。
• 畳み込みネットワークでは、第1層および第2層のNTKがスペクトルノルムで $ O(n / d^{1+α}) $ 以内に線形カーネルから逸脱することが示され、同じ近似が成り立つことが確認された。
• 線形近似はやや広い幅の要件のもとで成立し、ネットワークが訓練全体を通じてカーネル領域にとどまる必要はない。
• 実験的結果により、実世界のデータセット上でも深層および畳み込みアーキテクチャにおいて線形学習挙動が初期段階で継続することが確認された。
• 分析により、ニューラルネットワークは訓練の後期まで非線形性を十分に活用しないことが明らかになり、初期段階の線形学習仮説を支持した。
• この結果は、ReLUを含む任意の一般的な活性化関数に成立し、入力分布が穏やかな濃度性を示す場合に強く保たれる。