[論文レビュー] Batch Normalization Provably Avoids Rank Collapse for Randomly Initialised Deep Networks

Hadi Daneshmand, Jonas Köhler+3 more|arXiv (Cornell University)|Mar 3, 2020

Sparse and Compressive Sensing Techniques参考文献 14被引用数 9

ひとこと要約

この論文は、バッチ正規化（BN）がランダムに初期化された深層ニューラルネットワークにおけるランク崩壊を防ぐ仕組みを、隠れ層活性化のスペクトル特性の安定化によって解明している。マコフ連鎖理論を用いて、深層線形ネットワークにおけるランクの下界を導出し、実験的にBNがReLUネットワークでも高いランクを維持することを検証することで、極めて深いアーキテクチャにおける安定した学習を可能としている。

ABSTRACT

Randomly initialized neural networks are known to become harder to train with increasing depth, unless architectural enhancements like residual connections and batch normalization are used. We here investigate this phenomenon by revisiting the connection between random initialization in deep networks and spectral instabilities in products of random matrices. Given the rich literature on random matrices, it is not surprising to find that the rank of the intermediate representations in unnormalized networks collapses quickly with depth. In this work we highlight the fact that batch normalization is an effective strategy to avoid rank collapse for both linear and ReLU networks. Leveraging tools from Markov chain theory, we derive a meaningful lower rank bound in deep linear networks. Empirically, we also demonstrate that this rank robustness generalizes to ReLU nets. Finally, we conduct an extensive set of experiments on real-world data sets, which confirm that rank stability is indeed a crucial condition for training modern-day deep neural architectures.

研究の動機と目的

• ランダムに初期化されたネットワークに顕著なスペクトル不安定性が存在するにもかかわらず、なぜバッチ正規化が非常に深いニューラルネットワークの学習を可能にするのかを説明すること。
• 深層未正規化ネットワークの学習失敗に寄与するランク崩壊の役割を解明すること。
• 隠れ層活性化のランクを分析することで、BNの有効性の理論的基盤を確立すること。
• ランク安定性が深層ネットワークにおける成功した最適化の鍵要因であることを示すこと。

提案手法

• ランダム初期化下での深層線形ネットワークおよびReLUネットワークにおける隠れ層活性化のスペクトル特性を分析する。
• マコフ連鎖理論のツールを適用し、バッチ正規化を施した深層線形ネットワークにおける最終層のランクの下界を導出する。
• 線形ネットワークおよびReLUネットワークにおけるさまざまな深さにおける隠れ表現のランクを実験的に評価する。
• Fashion-MNISTやCIFAR-10といった実データセットを用いて、バッチ正規化ありとなしのネットワークにおける学習ダイナミクスとランクの変化を比較する。
• 確率的勾配解析を用いて、ランク崩壊が勾配が同一方向に整列することを示し、最適化を阻害することを明らかにする。
• アンブレーションスタディ（例：平均値の減算なしのBN、ランダムデータ実験）を通じて理論的発見を検証する。

実験結果

リサーチクエスチョン

• RQ1 なぜランダムに初期化された深層ネットワークは、ある深さを超えると学習に失敗するのか？
• RQ2 バッチ正規化はどのように深層ネットワークにおけるランク崩壊を防ぐのか？
• RQ3 バッチ正規化を施した深層線形ネットワークにおける隠れ表現のランクの理論的下界は何か？
• RQ4 BNにおけるランク安定性は、線形ネットワークからReLUネットワークへ一般化可能か？
• RQ5 ランク安定性は、深層ネットワークの成功した学習にとって必要条件であるとまではどの程度言えるか？

主な発見

• バッチ正規化は深層線形ネットワークにおけるランク崩壊を防ぎ、極めて深い層に対しても非退化したランクを維持する。
• マコフ連鎖解析を用いて、バッチ正規化を施した深層線形ネットワークにおけるランクの理論的下界が導出され、その安定性に形式的根拠が与えられた。
• 実験的結果から、BNはReLUネットワークでも高いランクを維持するが、未正規化ネットワークでは10層を超えて急速にランクが崩壊することが明らかになった。
• ランク崩壊は学習失敗と強く相関しており、Fashion-MNISTにおける未正規化ネットワークは10層を超えて学習不能である一方、BNネットワークは高い精度を維持している。
• ランク崩壊が生じたネットワークでは、確率的勾配が単一の方向に整列し、大きな学習率を用いても最適化が効果的に機能しなくなる。
• VGG19およびResNet-50を用いたCIFAR-10での実験から、平均値の減算なしのBNではランク崩壊を防げないことが確認され、BNの完全な動作が不可欠であることが裏付けられた。