[論文レビュー] Normalization Propagation: A Parametric Technique for Removing Internal Covariate Shift in Deep Networks

Devansh Arpit, Yingbo Zhou+2 more|arXiv (Cornell University)|Mar 4, 2016

Gaussian Processes and Bayesian Inference参考文献 12被引用数 86

ひとこと要約

本稿では、平均および標準偏差の閉形式推定を用いて層間に正規化統計を解析的に伝播させるデータに依存しないパrametric手法であるNormalization Propagation（NormProp）を提案する。バッチ正規化とは異なり、バッチ統計を用いないため、バッチサイズ1での学習が可能となり、推論が高速化される。CIFAR-10、CIFAR-100、SVHNベンチマークにおいて、競争力のあるもしくは優れた精度とより速い収束を達成する。

ABSTRACT

While the authors of Batch Normalization (BN) identify and address an important problem involved in training deep networks-- Internal Covariate Shift-- the current solution has certain drawbacks. Specifically, BN depends on batch statistics for layerwise input normalization during training which makes the estimates of mean and standard deviation of input (distribution) to hidden layers inaccurate for validation due to shifting parameter values (especially during initial training epochs). Also, BN cannot be used with batch-size 1 during training. We address these drawbacks by proposing a non-adaptive normalization technique for removing internal covariate shift, that we call Normalization Propagation. Our approach does not depend on batch statistics, but rather uses a data-independent parametric estimate of mean and standard-deviation in every layer thus being computationally faster compared with BN. We exploit the observation that the pre-activation before Rectified Linear Units follow Gaussian distribution in deep networks, and that once the first and second order statistics of any given dataset are normalized, we can forward propagate this normalization without the need for recalculating the approximate statistics for hidden layers.

研究の動機と目的

• ミニバッチ統計に依存するバッチ正規化の限界、特に初期学習段階での不正確な検証推定の原因となる点を是正すること。
• 正規化にバッチ統計を必要としない依存性を排除し、バッチサイズ1での利用を可能にするとともに、学習中の一般化性能を向上させること。
• 各層で統計を再計算せずに、深層ネットワークに正規化特性を伝播させるパrametricでデータに依存しない手法を開発すること。
• バッチ統計の移動平均を維持する必要を排除することで、より速い学習とより安定した収束を実現すること。
• 正規化がガウス分布の前活性化に関する仮定と非整合な重み行列を仮定することで、解析的に層間を伝播させることの可能性を示すこと。

提案手法

• 各層の前活性化値の平均および標準偏差を、ガウス分布に従うものと仮定して、閉形式でデータに依存しない推定値を用いる。
• 線形変換と正規化の代数的構造を活用し、統計の再推定を伴わずに、入力からすべての隠れ層に正規化を前向きに伝播させる。
• 各層の重み行列を、正規化された分布を保持するように調整することで、学習反復間で一貫した入力統計を保証する。
• バッチ正規化と同様に、ユニットごとに独立して正規化を行うが、学習時および推論時においてミニバッチ統計を一切使用しない。
• 前活性化が概ねガウス分布に従い、重み行列が概ね非整合的であると仮定することで、正規化の解析的伝播が可能になる。
• バッチ統計の移動平均を計算しないことで、計算オーバーヘッドを低減し、バッチサイズ1での学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習時および推論時にバッチ統計に依存せずに、内部共変量シフトを効果的に軽減できるか？
• RQ2 パrametricでデータに依存しない正規化手法が、バッチ正規化と同等またはそれ以上の性能を達成できるか、かつより速く安定した学習が可能か？
• RQ3 反復的なバッチ統計ではなく、閉形式の統計推定を用いて正規化が深層ネットワークに効果的に伝播できるか？
• RQ4 ネットワークパラメータが急速に変化する初期学習段階において、NormPropが隠れ層の入力分布を安定に保てるか？
• RQ5 バッチ統計に依存しない正規化手法を用いて、バッチサイズ1での深層ネットワーク学習が可能か？

主な発見

• データ拡張を用いたCIFAR-10では、NormPropが7.47%のテスト誤差を達成し、バッチ正規化（7.25%）を上回り、既存のSOTA手法と同等またはそれを上回る性能を示した。
• CIFAR-100では、データ拡張を用いた場合に29.24%のテスト誤差を達成し、バッチ正規化（30.26%）および既存のSOTA手法を上回った。
• SVHNでは、1.88%のテスト誤差を達成し、バッチ正規化（2.25%）および他のSOTAモデルを著しく上回った。
• バッチ正規化と比較して、学習時間を約12%短縮し、CIFAR-10では1エポックあたり84秒（バッチ正規化は96秒）を記録した。
• 移動平均バッチ統計が存在しないため、特に初期学習段階において、検証時における隠れ層の入力分布がより安定している。
• バッチ統計に依存するため、バッチ正規化が対応できないバッチサイズ1での学習が、NormPropによって可能になった。