[論文レビュー] Normalization of Neural Networks using Analytic Variance Propagation

Alexander Shekhovtsov, Boris Flach|arXiv (Cornell University)|Mar 28, 2018

Neural Networks and Applications参考文献 18被引用数 8

ひとこと要約

本稿では、バッチ統計に依存せずにニューラルネットワークの活性化統計量の平均と分散を計算するための解析的分散伝播（AP）を提案する。これにより、バッチサイズに依存しない効率的な正規化が可能になる。重みと活性化の統計量を用いて入力統計量を解析的にネットワーク全体に伝播させることで、安定で微分可能な初期化が得られ、飽和の低減と訓練のロバスト性の向上が図られるが、確率的要因と移動平均の欠如により、バッチ正規化が示す一般化の向上は得られない。

ABSTRACT

We address the problem of estimating statistics of hidden units in a neural network using a method of analytic moment propagation. These statistics are useful for approximate whitening of the inputs in front of saturating non-linearities such as a sigmoid function. This is important for initialization of training and for reducing the accumulated scale and bias dependencies (compensating covariate shift), which presumably eases the learning. In batch normalization, which is currently a very widely applied technique, sample estimates of statistics of hidden units over a batch are used. The proposed estimation uses an analytic propagation of mean and variance of the training set through the network. The result depends on the network structure and its current weights but not on the specific batch input. The estimates are suitable for initialization and normalization, efficient to compute and independent of the batch size. The experimental verification well supports these claims. However, the method does not share the generalization properties of BN, to which our experiments give some additional insight.

研究の動機と目的

• バッチ正規化の不安定さとバッチサイズ依存性を解消し、データに依存しない解析的手法を用いて活性化統計量を推定する。
• 正確な平均と分散推定により非線形関数の飽和を低減することで、ネットワークの初期化を改善する。
• フィードフォワードおよび再帰的ネットワークに適用可能な、効率的で連続的かつ微分可能な正規化を実現する。
• 評価モードで観察される一般化ギャップを回避する、バッチ正規化の安定した代替手法を提供する。

提案手法

• 入力統計量とネットワーク重みに基づき、隠れユニット活性化の期待値となる平均と分散を解析的モーメント伝播を用いて計算する。
• 入力が独立で線形変換が適用される前提のもと、全結合層および畳み込み層に対して一次および二次モーメント伝播則を適用する。
• ネットワークの現在の重みと入力分布のモーメントを用いて、各層出力の平均および分散の閉形式表現を導出する。
• 変換 $ X' = \frac{X - \mu}{\sigma} s + b $ を適用する正規化層を導入し、ここで $ \mu $ と $ \sigma^2 $ は解析的に計算される。
• バッチ推定ではなく解析的統計に基づいて $ s $ と $ b $ を初期化することで、標準および重み正規化を両方サポートする。
• 推論時にもバッチ統計を必要とせず、プラグイン可能な正規化を実現し、再帰的およびオンライン学習に適している。

実験結果

リサーチクエスチョン

• RQ1 解析的分散伝播は、深層ネットワークにおける正規化のための安定的でバッチサイズに依存しない活性化統計量の推定を可能にするか？
• RQ2 訓練の安定性と収束速度という観点から、解析的正規化はバッチ正規化と比べてどう異なるか？
• RQ3 提案手法は、標準または重み正規化と比較して、悪い重み初期化に対してよりロバストになるか？
• RQ4 訓練性能が類似しているにもかかわらず、なぜバッチ正規化は解析的正規化よりも一般化性能に優れているのか？
• RQ5 解析的正規化は、直交的またはその他の構造的重み初期化と効果的に組み合わせられるか？

主な発見

• 解析的分散伝播は、バッチサイズに依存しない安定的で決定的な活性化統計量の推定を提供し、異なる入力バッチ間で一貫した正規化を実現する。
• 本手法は、初期化が悪い場合の訓練のロバスト性を顕著に向上させ、収束速度と最終的な目的関数値の両面で、標準および重み正規化を上回る。
• 訓練性能はバッチ正規化と同等であるが、一般化の向上は得られないことから、バッチ正規化の確率的要因と移動平均統計量が一般化に寄与している可能性が示唆される。
• ノイズ付きMNISTおよびCIFAR-10の実験では、AP2（二次モーメントを用いた解析的伝播）は、すべての初期化スケームで一貫した訓練性能を示したが、バッチ正規化は非理想的な初期化下で不安定性を示した。
• 本手法は計算効率が高く、微分可能であるため、再帰的ネットワークやオンライン学習のシナリオへの適用が可能である。
• APにおける一般化の向上が見られないことから、バッチ正規化の確率的要因と移動統計量が一般化に重要な役割を果たしている可能性があり、暗黙のアンサンブル効果によるものと推測される。