[論文レビュー] Understanding Regularization in Batch Normalization

Ping Luo, Xinjiang Wang+2 more|arXiv (Cornell University)|Sep 4, 2018

Neural Networks and Applications被引用数 4

ひとこと要約

この論文は、畳み込みニューラルネットワークで検証された統計力学的手法を用いて、ミニバッチ正則化（BN）がニューラルネットワークにおける暗黙の正則化子として機能することを理論的に理解することを目的としている。BNの効果を母集団正規化（PN）とガンマ減衰に分解し、より大きな学習率でも収束を早める仕組みと、一般化性能の向上を明らかにしている。

ABSTRACT

Batch Normalization (BN) improves both convergence and generalization in training neural networks. This work understands these phenomena theoretically. We analyze BN by using a basic block of neural networks, consisting of a kernel layer, a BN layer, and a nonlinear activation function. This basic network helps us understand the impacts of BN in three aspects. First, by viewing BN as an implicit regularizer, BN can be decomposed into population normalization (PN) and gamma decay as an explicit regularization. Second, learning dynamics of BN and the regularization show that training converged with large maximum and effective learning rate. Third, generalization of BN is explored by using statistical mechanics. Experiments demonstrate that BN in convolutional neural networks share the same traits of regularization as the above analyses.

研究の動機と目的

• ミニバッチ正則化（BN）が学習収束性とモデル一般化性能を向上させる理由を理論的に理解すること。
• BNを母集団正規化（PN）とガンマ減衰に分解し、それぞれの役割を明確にすること。
• BNの学習ダイナミクスを分析し、大きな学習率が収束をもたらす条件を同定すること。
• 統計力学的手法を用いて一般化を分析し、BNが損失関数の形状における暗黙の正則化効果とどのように関連するかを明らかにすること。
• 理論的予測が実際の畳み込みニューラルネットワークにおいても成り立つことを確認し、正則化特性の共通性を検証すること。

提案手法

• BNの効果を独立して評価できるように、線形層、BN層、非線形活性化関数からなる基本的なニューラルネットワークブロックを分析する。
• BNを母集団正規化（PN）と、明示的な正則化項であるガンマ減衰に分解する。PNは母集団統計を用いて正規化を行う。
• 勾配フロー解析を用いてBNの学習ダイナミクスをモデル化し、異なる学習率における収束性を検証する。
• 統計力学の道具を用いて一般化を分析し、BNが損失関数の形状における暗黙の正則化とどのように関連するかを明らかにする。
• 畳み込みニューラルネットワークを用いた実験を通じて、理論的予測の正則化行動が妥当であることを検証する。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチ正則化（BN）は深層ニューラルネットワークにおいてどのように正則化子として機能するか？
• RQ2 母集団正規化（PN）とガンマ減衰は、BN全体の正則化効果にそれぞれどのように寄与しているか？
• RQ3 BNはなぜ、依然として収束するにもかかわらず、より大きな最大および有効な学習率を許容できるのか？
• RQ4 BNは一般化性能をどのように向上させるのか？このメカニズムは統計力学によって説明可能か？
• RQ5 基本的なネットワークブロックから得られた理論的知見は、実用的な畳み込みニューラルネットワークに対しても成立するか？

主な発見

• ミニバッチ正則化（BN）は暗黙の正則化子として機能し、その効果は母集団正規化（PN）とガンマ減衰という明示的な正則化成分に分解できる。
• BNの学習ダイナミクスにより、バッチ統計の安定化効果のおかげで、大きな最大および有効な学習率でも収束が可能となる。
• 一般化性能は統計力学的手法を用いて解析的にリンクされ、BNが損失関数の形状の複雑さを低減することを示している。
• 実験により、畳み込みニューラルネットワークにおけるBNが、理論的分析で予測された正則化特性を示していることが確認された。
• BNの構成要素の一つであるガンマ減衰は、明示的な重み減衰に類似した正則化を直接的に提供し、一般化性能の向上に寄与している。