[論文レビュー] Normalization Techniques in Training DNNs: Methodology, Analysis and Application

Lei Huang, Jie Qin+4 more|arXiv (Cornell University)|Sep 27, 2020

Advanced Neural Network Applications参考文献 282被引用数 52

ひとこと要約

この調査はDNNの訓練の正規化手法をレビューし、統一的な分類体系を提案し、活性化、重み、勾配の正規化と応用と理論を論じる。

ABSTRACT

Normalization techniques are essential for accelerating the training and improving the generalization of deep neural networks (DNNs), and have successfully been used in various applications. This paper reviews and comments on the past, present and future of normalization methods in the context of DNN training. We provide a unified picture of the main motivation behind different approaches from the perspective of optimization, and present a taxonomy for understanding the similarities and differences between them. Specifically, we decompose the pipeline of the most representative normalizing activation methods into three components: the normalization area partitioning, normalization operation and normalization representation recovery. In doing so, we provide insight for designing new normalization technique. Finally, we discuss the current progress in understanding normalization methods, and provide a comprehensive review of the applications of normalization for particular tasks, in which it can effectively solve the key issues.

研究の動機と目的

• 正規化によってDNNの訓練を加速し、一般化を向上させるモチベーション。
• 多様な正規化手法を比較するための統一的な分類法を提供する。
• 正規化が最適化と訓練ダイナミクスに与える影響を分析する。
• タスク適合型正規化手法の進展とその応用を要約する。
• 正規化理解における理論的洞察と未解決の問題を論じる。

提案手法

• 正規化手法を normalization area partitioning (NAP)、normalization operation (NOP)、normalization representation recovery (NRR) に分解する。
• 活性化を population statistics に基づく方法と function-based アプローチで分類する。
• 正規化の種類をレビューする：活性化（population statistics および function-based）、重み、勾配。
• backpropagation の考慮事項を伴う whitening、デコリレーション、標準化の変種を議論する。
• BN、LN、GN、IN、PN、BGN、および局所正規化手法を統一的な枠組みで分析する。
• 条件付けやフィッシャー情報近似を含む最適化理論の観点を要約する。

実験結果

リサーチクエスチョン

• RQ1 DNNにおける異なる正規化手法の主な動機は何か、そして分類体系はそれらの類似点と相違点をどう捉えることができるか？
• RQ2 正規化の経験的成功と理論的理解をどのように橋渡しできるか？
• RQ3 多様な応用に対応するタスク適合型正規化を可能にする最近の進展は何か？
• RQ4 正規化手法は最適化の条件づけ、安定性、一般化にどう影響するか？

主な発見

• 正規化手法は層間で層入力/勾配の統計を均一化し、悪条件付きの最適化風景を回避することを目的とする。
• 活性化は population statistics による正規化、または関数変換として正規化でき、3部構成（NAP、NOP、NRR）を持つ。
• BN はミニバッチ統計を普及させるが、小さなバッチおよび訓練時と推論時のギャップに直面する。LN、GN、IN はこれらの制約に対処する。
• Whitening 系アプローチ（BW、ZCA、PCA）は標準化を拡張し、条件づけを改善でき、グループベースの whitening はコストを削減する。
• フレームワーク（Algorithm 1）は正規化を area partitioning、operation、representation recovery として概念化し、新規手法設計を指針とする。
• Applications discussed include domain adaptation, style transfer, GANs, and efficient models where normalization edits activation statistics.