[論文レビュー] Norm matters: efficient and accurate normalization schemes in deep networks

Elad Hoffer, Ron Banner+2 more|arXiv (Cornell University)|Mar 5, 2018

Model Reduction and Neural Networks参考文献 43被引用数 52

ひとこと要約

本論文は深層ネットの正規化を再考し、ウェイト減衰、学習率、正規化がウェイトノルムを介して相互作用することを示す。L1 および L∞ に基づく BN 変種と境界付きウェイト正規化を提案し、安定性を向上させ半精度トレーニングを可能にし、競争力のある精度を達成する。

ABSTRACT

Over the past few years, Batch-Normalization has been commonly used in deep networks, allowing faster training and high performance for a wide variety of applications. However, the reasons behind its merits remained unanswered, with several shortcomings that hindered its use for certain tasks. In this work, we present a novel view on the purpose and function of normalization methods and weight-decay, as tools to decouple weights' norm from the underlying optimized objective. This property highlights the connection between practices such as normalization, weight decay and learning-rate adjustments. We suggest several alternatives to the widely used $L^2$ batch-norm, using normalization in $L^1$ and $L^\infty$ spaces that can substantially improve numerical stability in low-precision implementations as well as provide computational and memory benefits. We demonstrate that such methods enable the first batch-norm alternative to work for half-precision implementations. Finally, we suggest a modification to weight-normalization, which improves its performance on large-scale tasks.

研究の動機と目的

• ウェイトノルムが正規化と学習ダイナミクスにどのように作用し合うかを理解する。
• ウェイトノルムを最適化目的からデカップリングする正規化の代替案を提案する。
• 特に低精度設定で数値的安定性と効率を向上させる。
• L1 および L∞ に基づく正規化をバッチ正規化の置換または補完として評価する。
• 大規模トレーニングの性能を高めるため境界付きウェイト正規化を導入する。

提案手法

• BN のウェイトノルムに対する不変性を、スケールを最適化からデカップリングする機構として扱う。
• 学習ダイナミクスにおけるウェイト減衰の効果を模倣する学習率補正を導出・検証する。
• L2 BN を L1 および L∞ ベースの BN 変種で置換または補強し、安定性と性能のための適切なスケーリング定数（例: C_L1）を導出する。
• L1 BN が L2 BN が失敗する可能性のある半精度トレーニングをサポートすることを示す。
• チャネルごとのウェイトノルムをスカラー ρ に固定して境界付きウェイト正規化（BWN）を導入し、ImageNet および seq2seq タスクの安定性と性能を向上させる。
• 標準のウェイト正規化の代替として、Lp-ウェイト正規化（L1 および L∞ 変種を含む）を検討する。

実験結果

リサーチクエスチョン

• RQ1 ウェイトノルムがBatch Normalizationとどのように相互作用して学習ダイナミクスと有効なステップサイズに影響するか？
• RQ2 代替のノルムベース正規化（L1, L∞）はBNの精度に匹敵し、計算効率と低精度の利点を提供できるか？
• RQ3 ウェイトノルムを境界付けする（境界付きウェイト正規化）は大規模タスクやシーケンスモデルの性能を改善するか？
• RQ4 L1 正規化を用いて半精度でバッチ正規化を実行することは現実的か？
• RQ5 Lp-ウェイト正規化と従来のウェイト正規化のトレードオフは何か？

主な発見

• ウェイト減衰はウェイトノルムを制約することで最適化を改善し、学習率を安定化させる効果がある。学習率や正規化を調整することで同様の効果を得られる。
• L1 および L∞ ベースのバッチ正規化は CIFAR および ImageNet で L2 BN の精度に匹敵し、またはほぼ近づくことができ、L1 BN は安定した半精度トレーニングを可能にする。
• L1 BN は計算およびメモリの利点を提供し、量子化ノイズの下でも堅牢で、L2 BN が失敗する半精度 BN を可能にする。
• 境界付きウェイト正規化（BWN）アプローチは、標準的なウェイト正規化と比較して大規模タスク（ImageNet）で性能を大幅に向上させ、BNの性能に近づく。
• L1 および Lp 正規化は、ResNet や Transformer などのアーキテクチャ全体でBNの低精度対応可能な代替手段として、最小限の精度低下で有効となり得る。