[論文レビュー] Analysis on Gradient Propagation in Batch Normalized Residual Networks

Abhishek Panigrahi, Yueru Chen+1 more|arXiv (Cornell University)|Dec 2, 2018

Geophysical Methods and Applications参考文献 6被引用数 5

ひとこと要約

本稿は、残差ネットワークにおけるバッチ正規化（BN）の数学的分析を提供し、BNと残差接続が層をまたいで勾配分散を有界な範囲に制限することで、勾配誤差逆伝播を共同で安定化することを示している。主な貢献は、BNが勾配爆発／消失を防ぐために不可欠であることを示しており、実験によりBNを除去すると、残差接続が存在しても訓練が著しく妨げられることを確認している。

ABSTRACT

We conduct mathematical analysis on the effect of batch normalization (BN) on gradient backpropogation in residual network training, which is believed to play a critical role in addressing the gradient vanishing/explosion problem, in this work. By analyzing the mean and variance behavior of the input and the gradient in the forward and backward passes through the BN and residual branches, respectively, we show that they work together to confine the gradient variance to a certain range across residual blocks in backpropagation. As a result, the gradient vanishing/explosion problem is avoided. We also show the relative importance of batch normalization w.r.t. the residual branches in residual networks.

研究の動機と目的

• バッチ正規化（BN）が残差ネットワークにおける勾配誤差逆伝播に与える影響を数学的に分析すること。
• BNと残差接続が訓練中に勾配消失／爆発問題をどのように共同で緩和するかを理解すること。
• 深層残差ネットワークの安定した訓練を可能にするために、BNと残差ブランチの相対的な重要性を定量化すること。
• BNが勾配安定性に不可欠であるという理論的および実証的証拠を提供すること、すなわち残差接続が存在してもBNが不可欠であることを示すこと。

提案手法

• バッチ正規化、畳み込み、ReLU活性化関数から成る層を通過する勾配伝播の数学的モデルを導出する。
• 残差ブロックを通る勾配の平均および分散の挙動を分析する。
• BNと残差ブランチの相互作用をモデル化し、それらが層をまたいで勾配分散をどのように共同で制約するかを示す。
• CIFAR-10を用いた実証的評価を実施し、3つの変種（完全な残差ネットワーク：BN＋残差、BNのみ、残差のみ）を比較する。
• 訓練の異なるエポックにおける残差ブロック間の勾配分散を測定し、安定性を評価する。
• Xavier重み初期化を採用し、訓練／テスト精度および損失のダイナミクスを追跡して、モデル性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 バッチ正規化は、勾配誤差逆伝播中に残差ネットワークにおける勾配分散伝播にどのように影響するか？
• RQ2 バッチ正規化と残差接続の間で、訓練の安定化に寄与する相対的な貢献度は何か？
• RQ3 残差接続が存在しても、バッチ正規化がなければ残差ネットワークは効果的に学習できるか？
• RQ4 BNを除去または保持した場合、勾配分散は残差ブロック間でどのように変化するか？

主な発見

• バッチ正規化と残差接続は、勾配誤差逆伝播中に残差ブロックをまたいで勾配分散を安定した範囲に制限するために相乗的に作用する。
• バッチ正規化の除去により、直ちに勾配爆発が発生し、ネットワークは学習不能になる。これは、残差のみのモデルでエポック1で損失が未定義になることで裏付けられている。
• 残差ブランチなしのバッチ正規化のみのモデルは90.6％のテスト精度を達成しており、BN単体でも顕著な学習が可能であることが示されたが、完全な残差ネットワークほどではない。
• BNと残差ブランチの両方を備えた完全な残差ネットワークは92.5％のテスト精度を達成し、両方の変種を上回った。これは、両方の要素が最適なパフォーマンスを発揮するために不可欠であることを示している。
• BNを備えたモデル（残差ブランチの有無に関わらず）では勾配分散が有界に保たれるが、BNが欠落すると分散が爆発する。これにより、BNが勾配安定性において極めて重要な役割を果たしていることが確認された。
• 残差接続が存在しても、BNが欠落すると制御不能な勾配ダイナミクスが生じ、訓練に失敗する。これは、BNが深層残差ネットワークの訓練において不可欠であることを強調している。