[論文レビュー] Shallow Univariate ReLu Networks as Splines: Initialization, Loss Surface, Hessian, & Gradient Flow Dynamics.

Justin Sahs, Ryan Pyle+5 more|arXiv (Cornell University)|Aug 4, 2020

Model Reduction and Neural Networks参考文献 22被引用数 6

ひとこと要約

この論文は、浅い1変量ReLUネットワークを連続的区分線形（CPWL）スプラインとして再解釈し、重み初期化が低分散のデルタスロープ分布を引き起こすため、極めて平坦な関数が生じることを明らかにした。スプラインの視点により、平坦な最小値はブレークポイントの退化から生じ、過パラメータ化されたネットワークにおけるimplicit regularizationは、平坦な初期化、曲率に基づくパrametrization、勾配フローに起因することが明らかになった。これは、カーネルベースの分析とは補完的で、透明性の高い幾何的解釈を提供する。

ABSTRACT

Understanding the learning dynamics and inductive bias of neural networks (NNs) is hindered by the opacity of the relationship between NN parameters and the function represented. We propose reparametrizing ReLU NNs as continuous piecewise linear splines. Using this spline lens, we study learning dynamics in shallow univariate ReLU NNs, finding unexpected insights and explanations for several perplexing phenomena. We develop a surprisingly simple and transparent view of the structure of the loss surface, including its critical and fixed points, Hessian, and Hessian spectrum. We also show that standard weight initializations yield very flat functions, and that this flatness, together with overparametrization and the initial weight scale, is responsible for the strength and type of implicit regularization, consistent with recent work arXiv:1906.05827. Our implicit regularization results are complementary to recent work arXiv:1906.07842, done independently, which showed that initialization scale critically controls implicit regularization via a kernel-based argument. Our spline-based approach reproduces their key implicit regularization results but in a far more intuitive and transparent manner. Going forward, our spline-based approach is likely to extend naturally to the multivariate and deep settings, and will play a foundational role in efforts to understand neural networks. Videos of learning dynamics using a spline-based visualization are available at http://shorturl.at/tFWZ2.

研究の動機と目的

• 標準的なパrametrizationでは曇りがちな、浅い1変量ReLUネットワークのinductive biasと学習ダイナミクスを理解すること。
• 損失関数の機能的構造を分析することで、過パラメータ化されたネットワークにおける一般化のパラドックスを解明すること。
• スプライン再パラメータライゼーションを通じて、implicit regularizationを幾何的で透明なレンズで解釈すること、特に重み初期化スケールの役割を明らかにすること。
• ブレークポイントとデルタスロープの進化を用いて、ヘッセ行列、臨界点、勾配フローのダイナミクスを特徴づけること。

提案手法

• ネットワークの重みを機能的パラメータ（ブレークポイントβi、デルタスロープµi、方向性si）にマッピングすることで、全結合ReLUネットワークをCPWLスプラインに再パラメータライズする。
• 勾配フローを用いてデルタスロープµi(t)の時間的進化を導出し、µi(t) = ∫₀ᵗ ⟨ϵ(t), (x−βi)si⟩ dt が得られ、重みの更新と機能的変化を結びつける。
• 臨界点における損失関数のヘッセ行列を分析し、ブレークポイントグラム行列がランク不足のとき、固有値に0が現れ、ヘッセ行列が半正定値であることを証明する。
• 無限大幅極限において、2階微分ˆf′′(x)がデータポイントにノードを持つ区分線形関数に収束し、自然な立方スプラインに収束することを示す。
• H→∞の極限でリーマン和近似を用い、∑µi²の最小化が∫(f′′(x))²dxの最小化と同等であることを示し、重み減衰と滑らかさの関係を確立する。
• 初期化スケールαがimplicit regularizationのタイプ（例：カーネル的・豊かな領域）を制御することを確立し、関数的影響はないが勾配に強く影響することを示す。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化されたReLUネットワークは、訓練誤差が0であってもなぜ一般化がうまくいくのか、初期化はその役割を果たしているか？
• RQ2 損失関数の構造、特にその臨界点とヘッセ行列が、ネットワークの機能的パラメータライゼーションからどのように生じるのか？
• RQ3 浅いReLUネットワークにおけるimplicit regularizationの機能的解釈は何か、重み初期化スケールとはどのように関係するか？
• RQ4 勾配フローのダイナミクスは、初期の関数的構造をどのように保存または正則化するのか、特に過パラメータ化領域において？
• RQ5 スプライン再パラメータライゼーションは、無限大幅極限における自然な立方スプラインの出現を説明できるか？

主な発見

• 標準的な重み初期化では、デルタスロープ分布の平均が0で分散が小さいため、初期関数が極めて平坦になる。幅が増加するにつれて、分布は0に集中する。
• 臨界点における損失関数のヘッセ行列は半正定値であり、ブレークポイントグラム行列が線形従属である場合に固有値が0になる。これは、複数のブレークポイントが同じ活性データを共有する場合に一般的に発生する。
• 平坦な最小値は局所的現象ではなく、グローバルな退化の結果である。ブレークポイントがその活性データ領域で線形従属である場合、損失関数の表面は多数の方向で平坦になる。
• 過パラメータ化されたReLUネットワークにおけるimplicit regularizationは、3要因に起因する：平坦な初期化、曲率に基づくパラメータライゼーション（ブレークポイントとデルタスロープ）、および勾配降下が初期関数的構造を保存・正則化すること。
• 初期化スケールαはimplicit regularizationのタイプを制御し、大きなαはより豊かな、滑らかでない関数を、小さなαは滑らかでカーネル的行動を促進する。
• 無限大幅極限において、学習関数は∫(f′′(x))²dxをデータポイントでの補間を満たす条件下で最小化する自然な立方スプラインに収束する。これは、スプラインに基づく正則化機構が正当化されることを確認する。