[論文レビュー] Understanding the Generalization Benefit of Normalization Layers: Sharpness Reduction

Kaifeng Lyu, Zhiyuan Li+1 more|arXiv (Cornell University)|Jun 14, 2022

Neural Networks and Applications被引用数 12

ひとこと要約

本稿では、正則化層（例：バッチ正則化）が、重み減衰を伴う勾配降下法における滑らかさ低減バイアスを、損失関数のスケール不変性に起因して誘発することを提案する。理論的および実験的に、このバイアスが最適化軌道を滑らかさの小さい極小点へと導くことを示し、これはスケール不変な球面的滑らかさ測度で測定される。その結果、過パラメータ化モデルでさえも、テスト性能の向上が得られる。

ABSTRACT

Normalization layers (e.g., Batch Normalization, Layer Normalization) were introduced to help with optimization difficulties in very deep nets, but they clearly also help generalization, even in not-so-deep nets. Motivated by the long-held belief that flatter minima lead to better generalization, this paper gives mathematical analysis and supporting experiments suggesting that normalization (together with accompanying weight-decay) encourages GD to reduce the sharpness of loss surface. Here "sharpness" is carefully defined given that the loss is scale-invariant, a known consequence of normalization. Specifically, for a fairly broad class of neural nets with normalization, our theory explains how GD with a finite learning rate enters the so-called Edge of Stability (EoS) regime, and characterizes the trajectory of GD in this regime via a continuous sharpness-reduction flow.

研究の動機と目的

• 正則化層が深層ニューラルネットワークにおける一般化性能を向上させる理由を、最適化の利点を超えて理解すること。
• 正則化ネットワークに一般的なスケール不変損失関数に対して、従来の滑らかさ測度が不適切であるという課題に対処すること。
• 正則化モデルにおける重み減衰を伴う勾配降下法の、滑らかさの小さい極小点への暗黙のバイアスを形式化し分析すること。
• 過パラメータ化モデルおよび標準的な視覚／言語モデルにおいて、滑らかさ低減と一般化性能向上の間の関係を確立すること。

提案手法

• スケール不変性を扱えるように、単位球面上での損失のヘッセ行列を用いて定義されるスケール不変な滑らかさ測度「球面的滑らかさ」を提案する。
• スケール不変損失関数に対して、フルバッチ勾配降下法と重み減衰を分析し、時間経過とともに滑らかさが自然に低減することを示す。
• エッジ・オブ・スタビリティ領域における勾配降下法の軌道を特徴付ける連続的滑らかさ低減フローを導出する。
• 行列補完問題とCIFAR-10の実験を通じて、滑らかさ低減バイアスを実験的に検証する（VGG-11とバッチ正則化を用いて）。
• 正則化層のアフィンパラメータ（γ, β）を固定することで、学習ダイナミクスとラベルスムージングの関係を確立し、γ=1.353のとき、ε=0.1のソフトラベルと同等であることを示す。
• 訓練曲線から理論的最小損失を差し引くことで、滑らかさダイナミクスを分離し、時間経過に伴う滑らかさ低減の傾向を観察する。

実験結果

リサーチクエスチョン

• RQ1 勾配降下法に重み減衰と正則化を組み合わせた場合、スケール不変損失関数の下で、滑らかさの小さい極小点へのバイアスはどのように生じるか？
• RQ2 スケール不変性を満たす数学的に整合性のある滑らかさ測度は何か？ これは正則化ネットワークの一般化性能分析に用いられるべきである。
• RQ3 なぜ滑らかさ低減が、過パラメータ化モデルですら一般化性能の向上と相関するのか？
• RQ4 正則化と重み減衰の相互作用が、持続的な滑らかさ低減をもたらす仕組みは何か？ エッジ・オブ・スタビリティはその役割を果たすか？
• RQ5 滑らかさ低減バイアスは、重み減衰や正則化とは独立して観察可能か？ また、その影響はテスト性能にどのように現れるか？

主な発見

• バッチ正則化を用いたモデルで、勾配降下法と重み減衰を用いた訓練中、球面的滑らかさ測度は単調に減少する。これは訓練損失がゼロに達しても同様である。
• VGG-11とバッチ正則化を用いたCIFAR-10の実験では、47,000ステップの間、テスト精度が69.1%から84.3%に上昇し、連続的な滑らかさ低減と一致する。
• バッチ正則化または重み減衰のいずれかを除去すると、滑らかさ低減バイアスとそれに伴う一般化性能の向上が消失する。
• 正則化層のアフィンパラメータ（γ, β）を固定しても、滑らかさ低減バイアスは観察可能であり、ε=0.1のラベルスムージングと同等の値（γ=1.353）のときにも成立する。
• γ=1.353のとき、理論的最小損失は約0.0943であり、訓練曲線からこれを差し引くことで、明確な滑らかさ低減トレンドが観察される。
• エッジ・オブ・スタビリティ領域では、滑らかさ低減フローが連続的プロセスとして特徴づけられ、最大ヘッセ固有値が2/η付近に安定する。