[論文レビュー] Beyond BatchNorm: Towards a Unified Understanding of Normalization in Deep Learning

Ekdeep Singh Lubana, Robert P. Dick+1 more|arXiv (Cornell University)|Jun 10, 2021

Domain Adaptation and Few-Shot Learning被引用数 14

ひとこと要約

この論文は、バッチ正則化（BatchNorm）の既知の特性——活性化分散の安定化や情報伝達可能な順方向伝搬の促進——を、GroupNorm、InstanceNorm、LayerNormなどの現代の正則化層に拡張する。活性化の安定性、勾配ダイナミクス、活性化類似度に基づき、特定の正則化器が成功または失敗する理由を統一的な枠組みで解明し、GroupNormにおけるグループサイズが訓練の安定性と速度の間の重要なトレードオフを支配することを明らかにする。

ABSTRACT

Inspired by BatchNorm, there has been an explosion of normalization layers in deep learning. Recent works have identified a multitude of beneficial properties in BatchNorm to explain its success. However, given the pursuit of alternative normalization layers, these properties need to be generalized so that any given layer's success/failure can be accurately predicted. In this work, we take a first step towards this goal by extending known properties of BatchNorm in randomly initialized deep neural networks (DNNs) to several recently proposed normalization layers. Our primary findings follow: (i) similar to BatchNorm, activations-based normalization layers can prevent exponential growth of activations in ResNets, but parametric techniques require explicit remedies; (ii) use of GroupNorm can ensure an informative forward propagation, with different samples being assigned dissimilar activations, but increasing group size results in increasingly indistinguishable activations for different samples, explaining slow convergence speed in models with LayerNorm; and (iii) small group sizes result in large gradient norm in earlier layers, hence explaining training instability issues in Instance Normalization and illustrating a speed-stability tradeoff in GroupNorm. Overall, our analysis reveals a unified set of mechanisms that underpin the success of normalization methods in deep learning, providing us with a compass to systematically explore the vast design space of DNN normalization layers.

研究の動機と目的

• バッチ正則化の有益な特性（例：活性化の爆発防止、情報伝達可能な順方向伝搬の促進）をバッチ正則化にとどまらない広範な正則化層のクラスに一般化すること。
• さまざまなアーキテクチャや学習設定において、深層ニューラルネットワーク（DNN）における正則化手法の成功または失敗を予測する体系的な設計原則を同定すること。
• GroupNormのような特定の正則化層が優れた性能を示す一方で、InstanceNorm や LayerNorm などの他の正則化層が不安定性や収束の遅さを示す理由を説明すること。
• バッチサイズ、モデルの深さ、データ分布の変化といったアプリケーション固有の制約に基づいて、正則化層を選択するための理論的指針を確立すること。

提案手法

• 初期化時のバッチ正則化の挙動に関する理論的分析を、活性化に基づく（例：バッチ正則化、GroupNorm）およびパラメトリックな（例：WeightNorm）正則化手法にまで拡張する。
• 残差ネットワークにおける活性化の分散を分析し、活性化に基づく正則化器のみが指数的増加を防ぐのに対し、パラメトリックな手法はアーキテクチャ上の修正（例：SkipInit）がなければそうならないことを示す。
• 最も深い層における表現行列のランクを用いて順方向伝搬の情報量を定量化し、GroupNormではそのランクが Ω(√(width/group size)) のスケーリングを示すことを示す。
• 層ごとの勾配ノルムの指数的フィッティングを用いて訓練の安定性を測定し、初期化時の2番目に深い層の活性化のコサイン類似度を用いて訓練速度を測定する。
• CIFAR-100における実験を通じて、複数の乱数シードを用いて、ネットワークの深さ、バッチサイズ、学習率を変化させた複数の設定で理論的予測の妥当性を実証的に検証する。
• 勾配爆発（安定性）と活性化類似度（最適化速度）の間のトレードオフを分析し、GroupNormにおける中間的なグループサイズで最適な性能が達成されることを示す。

実験結果

リサーチクエスチョン

• RQ1 バッチ正則化にとどまらない、さまざまな正則化層は、深層残差ネットワークにおける順方向伝搬の際の活性化分散の安定化にどの程度効果を示すか？
• RQ2 ある正則化器が異なる入力に対して明確な活性化を生成できる能力が、最適化の速度にどの程度予測できるか？
• RQ3 なぜInstanceNorm や LayerNorm などの正則化層は訓練の不安定性や収束の遅さを示すのか、これは勾配ダイナミクスとどのように関連しているか？
• RQ4 GroupNormにおけるグループサイズの役割は何か？ そして、それが訓練の安定性と最適化速度のトレードオフをどのように調整するか？
• RQ5 異なるDNNアーキテクチャや学習条件において、多様な正則化層の成功・失敗モードを統一的な理論枠組みで説明できるか？

主な発見

• 活性化に基づく正則化層（例：バッチ正則化、GroupNorm）は、深層残差ネットワークにおいて活性化分散の指数的増加を防ぐが、パラメトリックな手法（例：WeightNorm）は、アーキテクチャ的修正（例：SkipInit）が施されない限りそうならない。
• GroupNormは、最も深い層における表現のランクを Ω(√(width/group size)) のスケーリングで維持することで、情報伝達可能な順方向伝搬を保証する。ランクが高いほど、情報伝達が効果的である。
• GroupNormにおけるグループサイズが大きくなるにつれて、異なる入力の活性化が次第に類似し始め、これは収束が遅くなることと相関しており、これがLayerNormが深層ネットワークで劣る性能を示す理由を説明する。
• GroupNormにおける小さなグループサイズは、初期層における大きな勾配ノルムを引き起こし、特に深層ネットワークや小さなバッチサイズの状況では訓練の不安定性を引き起こす。これは速度と安定性のトレードオフを示している。
• GroupNormにおける最適なグループサイズは、勾配爆発（安定性）と活性化類似度（速度）の両方のトレードオフの交点で達成され、この点でテスト精度が最大値を示す。
• 実験的結果は、提案された理論的枠組みが複数のアーキテクチャや設定において訓練挙動を正確に予測できることを確認しており、適切にグループサイズを調整したGroupNormが他の手法を上回ることを示している。