[論文レビュー] Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift

Sergey Ioffe, Christian Szegedy|arXiv (Cornell University)|Feb 11, 2015

Neural Networks and Applications参考文献 23被引用数 24,246

ひとこと要約

本論文はバッチ正規化を導入し、ミニバッチ内の層入力を正規化して内部共変動シフトを低減する方法を提案する。これにより学習率の向上、正則化、学習の高速化を実現し、ImageNetで最先端の結果を達成する。

ABSTRACT

Training Deep Neural Networks is complicated by the fact that the distribution of each layer's inputs changes during training, as the parameters of the previous layers change. This slows down the training by requiring lower learning rates and careful parameter initialization, and makes it notoriously hard to train models with saturating nonlinearities. We refer to this phenomenon as internal covariate shift, and address the problem by normalizing layer inputs. Our method draws its strength from making normalization a part of the model architecture and performing the normalization for each training mini-batch. Batch Normalization allows us to use much higher learning rates and be less careful about initialization. It also acts as a regularizer, in some cases eliminating the need for Dropout. Applied to a state-of-the-art image classification model, Batch Normalization achieves the same accuracy with 14 times fewer training steps, and beats the original model by a significant margin. Using an ensemble of batch-normalized networks, we improve upon the best published result on ImageNet classification: reaching 4.9% top-5 validation error (and 4.8% test error), exceeding the accuracy of human raters.

研究の動機と目的

• トレーニング中の深層ネットワークにおける内部共変動シフトの問題を動機づける。
• ミニバッチ上で動作するネットワークアーキテクチャに組み込まれた正規化手法を提案する。
• BN がより高い学習率を可能にし、正則化として働くことを示し、Dropout の必要性を減らすか排除する。
• BN を用いて大規模視覚タスク（ImageNet）で訓練を加速し、精度を向上させることを示す。
• バッチ正規化ネットワークの訓練と推論の実践的ガイドラインを提供する。

提案手法

• 非線形性の前に Batch Normalization 変換を挿入し、ミニバッチ統計量を用いて各活性化次元を平均ゼロ、分散1となるよう正規化する。
• 各次元ごとにスケール (gamma) とバイアス (beta) のパラメータを学習し、ネットワークの表現能力を維持する。
• BN 変換を介して逆伝播を行い、gamma、beta、および前段のレイヤーパラメータを更新する。
• 推論時にはミニバッチ統計の代わりに母集団統計量（またはその移動平均）を使用し、決定論的な出力とする。
• 畳み込みネットワークに BN を適用し、特徴マップをバッチと空間位置に跨って（各特徴マップごとに）正規化する。
• より高い学習率、初期化への感度の低減、Dropout の必要性の低減を示す。

実験結果

リサーチクエスチョン

• RQ1 バッチ単位の正規化を統合することで内部共変動シフトを低減し、深層ネットワークの訓練を加速できるか。
• RQ2 BN は発散なしにより高い学習率を可能にし、層間の勾配フローを改善できるか。
• RQ3 Dropout と比較または併用した場合の BN の正則化と一般化への影響はどうか。
• RQ4 ImageNet のような大規模視覚タスクでの性能、単一ネットワークおよびエンサンブル結果を含めて、BN はどう影響するか。

主な発見

• Batch Normalization ははるかに高い学習率を可能にし、パラメータ初期化への感度を低減する。
• Networks with BN converge faster and can achieve the same or better accuracy with substantially fewer training steps (e.g., 14x fewer steps to reach a given accuracy on ImageNet variants).
• BN achieves state-of-the-art results on ImageNet, with an ensemble reaching 4.9% top-5 validation error (and 4.8% test error).
• BN-Baseline matches Inception's accuracy in less than half the training steps, and further BN variants reach higher final accuracy (e.g., 74.8% top-5 on validation with BN-x30).
• Batch Normalization reduces or eliminates the need for Dropout in some settings and can stabilize training when using saturating nonlinearities like sigmoid.
• BN improves gradient propagation by making layer Jacobians less sensitive to parameter scale and may regularize the model.