[論文レビュー] Towards Understanding Regularization in Batch Normalization

Ping Luo, Xinjiang Wang+2 more|arXiv (Cornell University)|Sep 4, 2018

Neural Networks and Applications被引用数 53

ひとこと要約

この論文は、Batch Normalization (BN) を、PNと gamma decay に分解される暗黙の正則化子として分析し、BN がより大きな学習率を可能にし、一般化を改善することを示す。CNNで理論的・経験的サポート。

ABSTRACT

Batch Normalization (BN) improves both convergence and generalization in training neural networks. This work understands these phenomena theoretically. We analyze BN by using a basic block of neural networks, consisting of a kernel layer, a BN layer, and a nonlinear activation function. This basic network helps us understand the impacts of BN in three aspects. First, by viewing BN as an implicit regularizer, BN can be decomposed into population normalization (PN) and gamma decay as an explicit regularization. Second, learning dynamics of BN and the regularization show that training converged with large maximum and effective learning rate. Third, generalization of BN is explored by using statistical mechanics. Experiments demonstrate that BN in convolutional neural networks share the same traits of regularization as the above analyses.

研究の動機と目的

• BN が学習と一般化をどのように正則化するかについて理論的理解を促進する。
• BN を population normalization (PN) と gamma decay に分解して、明示的な正則化を特徴づける。
• 通常微分方程式を用いてBN下の学習ダイナミクスと収束を分析する。
• 教師-学生と統計力学フレームワークを通じて、BN を weight normalization および vanilla SGD と比較する。
• CIFAR-10 の CNN 実験とアブレーション研究で理論的知見を検証する。

提案手法

• BN の影響を孤立させるために ReLU を用いた単層パーセプトロンで BN をモデル化する。
• バッチ統計をガウス事前分布を持つ乱数変数として扱い、正則化形式を導出する。
• BN を PN と gamma decay に分解し、スケールパラメータ γ に対するデータ依存の正則化強度 γ(h) を生み出す。
• 学習ダイナミクスを研究し、最大学習率と有効学習率を導出するために常微分方程式を用いる。
• BN、ウェイト正規化、SGD における汎化を分析するために教員-学生の統計力学フレームワークを用いる。
• CIFAR-10 の CNN で BN の正則化特性を実証的に検証し、PN+gamma decay を近似として探索する。

実験結果

リサーチクエスチョン

• RQ1 BN を PN と gamma decay の観点から明示的な正則化としてどのように表現できるか？
• RQ2 BN が学習ダイナミクスと許容学習率に与える影響は、WN および SGD と比較してどうか？
• RQ3 教師-学生設定および CNN における一般化に対する BN の影響はどのようなものか？
• RQ4 BN の正則化強度と学習ダイナミクスにおけるバッチサイズの役割は何か？
• RQ5 PN+gamma decay は実務上 BN を近似できるか、また経験的にはどう比較されるか？

主な発見

• BN は population normalization と gamma decay に分解でき、スケールパラメータ γ に対するデータ依存の正則化強度を持つ。
• gamma decay 項は zeta(h) によって適応的で、バッチの峠度（kurtosis）とフィッシャー情報量に依存し、BN のノイズを学習ダイナミクスに結びつける。
• BN は最大学習率と有効学習率を大きくでき、分析対象モデルでは SGD や weight normalization よりも速い収束をもたらす。
• 大規模な (P, N) レジームでは、BN と WN+gamma decay は同等の一般化効果を生むことがあり、BN はしばしばベーシックな SGD よりも優れている。
• CNN の実験は、BN が理論的 BN モデルと同様の正則化特性を共有し、適切な条件下で PN+gamma decay が BN の効果を模倣できることを示している。