[論文レビュー] Optimization Theory for ReLU Neural Networks Trained with Normalization Layers

Yonatan Dukler, Quanquan Gu+1 more|arXiv (Cornell University)|Jun 11, 2020

Stochastic Gradient Optimization Techniques参考文献 17被引用数 13

ひとこと要約

本稿は、勾配降下法における2層ReLUニューラルネットワークにWeight Normalization (WN)を適用した場合の、初めてのグローバル収束保証を提示する。WNはNeural Tangent Kernel (NTK) の長さ・方向分解を介して最適化の様相を変化させることで、正規化されていない学習に比べて収束が速くなることを示している。解析により線形収束レートとよりタイトな過パラメータ化バウンドが確立され、標準的な学習に比べて収束に必要な幅が減少することを示している。

ABSTRACT

The success of deep neural networks is in part due to the use of normalization layers. Normalization layers like Batch Normalization, Layer Normalization and Weight Normalization are ubiquitous in practice, as they improve generalization performance and speed up training significantly. Nonetheless, the vast majority of current deep learning theory and non-convex optimization literature focuses on the un-normalized setting, where the functions under consideration do not exhibit the properties of commonly normalized neural networks. In this paper, we bridge this gap by giving the first global convergence result for two-layer neural networks with ReLU activations trained with a normalization layer, namely Weight Normalization. Our analysis shows how the introduction of normalization layers changes the optimization landscape and can enable faster convergence as compared with un-normalized neural networks.

研究の動機と目的

• 正規化層の実験的成功と、非凸最適化における収束保証の欠如との間の理論的ギャップを埋めること。
• Weight Normalizationが、正規化されていない設定と比較して、ReLUネットワークの最適化の様相をどのように変化させるかを分析すること。
• 勾配降下法で訓練された2層ReLUネットワークに対して、保証付きのグローバル収束を確立すること。
• 先行研究に比べ、よりタイトな過パラメータ化バウンドと改善された収束レートを導出すること。
• 正規化下でのNeural Tangent Kernel (NTK) の精密な解析を通じて、WNの有効性を説明すること。

提案手法

• 重みがスケールgと方向v/||v||を介して再パラメータライズされた、(V, g, c)というパラメータ化を用いた2層ReLUネットワークを分析する。
• Weight Normalization下でのNTKに、長さ・方向分解を導入し、2つの異なる収束レームを明らかにする。
• 過パラメータ化領域（m > n）を想定し、ランダム初期化とL2損失を用いて回帰タスクを扱う。
• ニューラルタングエント・カーネル理論のツールを適用し、先行研究（例：[15], [3]）のバウンドを精緻化して勾配降下のダイナミクスを分析する。
• 確率的集中不等式と幾何級数の推定を用いて、パラメータ軌道と勾配更新を制御する。
• 修正されたNTKと勾配降下のステップサイズを用いて、訓練誤差の減衰をバウンドすることで収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 Weight Normalizationは、正規化されていない学習と比較して、ReLUネットワークの最適化の様相をどのように変化させるか？
• RQ2 勾配降下法で訓練されたReLUネットワークに対して、Weight Normalizationを用いた場合にグローバル収束を証明できるか？
• RQ3 正規化は収束レートと必要な過パラメータ化にどのような影響を与えるか？
• RQ4 Weight Normalization下でNeural Tangent Kernelはどのように変化し、どのような構造的変化が生じるか？
• RQ5 正規化されたReLUネットワークに対して、正規化されていないものと比較してよりタイトな過パラメータ化バウンドを導出できるか？

主な発見

• 本稿は、勾配降下法で訓練された2層ReLUネットワークに対して、Weight Normalizationを用いた場合の、初めてのグローバル収束結果を確立した。
• 収束は線形レートで発生し、正規化されていない学習と比較して収束因子が(1 - ηαωα)の要因で改善されている。
• Weight Normalizationは、長さ・方向分解を介してNTKダイナミクスを変化させることで、正規化されていない学習よりも収束を速くする。
• 正規化されていない設定と比較して、必要な過パラメータ化が顕著に減少しており、精緻な解析によりよりタイトなバウンドが導出された。
• 理論的解析により、WNが有効カーネルの条件数を低減することが確認され、実際の訓練を加速することが分かった。
• 収束速度と安定性の向上は、修正されたNTK構造と重みスケールへの感受性の低減によって説明できる。