[論文レビュー] Online Normalization for Training Neural Networks

Vitaliy Chiley, Ilya Sharapov+6 more|arXiv (Cornell University)|May 1, 2019

Neural Networks and Applications被引用数 23

ひとこと要約

この論文では、ミニバッチを必要とせず、自動微分と互換性のある不偏勾配計算手法を用いて、隠れ活性化を正規化する手法「オンライン正規化（Online Normalization）」を紹介している。画像分類、セグメンテーション、言語モデリングのタスクにおいて、バッチ正規化（Batch Normalization）と同等の性能を達成し、バッチ処理が非現実的な状況での学習を可能にする。

ABSTRACT

Online Normalization is a new technique for normalizing the hidden activations of a neural network. Like Batch Normalization, it normalizes the sample dimension. While Online Normalization does not use batches, it is as accurate as Batch Normalization. We resolve a theoretical limitation of Batch Normalization by introducing an unbiased technique for computing the gradient of normalized activations. Online Normalization works with automatic differentiation by adding statistical normalization as a primitive. This technique can be used in cases not covered by some other normalizers, such as recurrent networks, fully connected networks, and networks with activation memory requirements prohibitive for batching. We show its applications to image classification, image segmentation, and language modeling. We present formal proofs and experimental results on ImageNet, CIFAR, and PTB datasets.

研究の動機と目的

• バッチ正規化の理論的限界、特にミニバッチに依存する点と勾配計算の偏りを解決すること。
• 再帰的ネットワークやメモリ要件の高い全結合ネットワークなど、バッチ処理が非現実的なアーキテクチャにおいても効果的な正規化を可能にすること。
• 統計的正規化を基本操作として統合することで、自動微分フレームワークと互換性のある正規化手法を開発すること。
• バッチ統計を必要とせず、バッチ正規化と同等の学習安定性と精度を達成すること。
• 順序付きおよびメモリ集約的なディープラーニングモデルへの正規化の適用範囲を拡張すること。

提案手法

• バッチ正規化の主要な理論的欠陥を克服する、正規化された活性化のための新規で不偏な勾配計算手法を導入する。
• 自動微分フレームワーク内での基本操作として正規化を形式化し、勾配伝搬を伴うエンドツーエンド学習を可能にする。
• 固定されたミニバッチに依存せずに、平均と分散の累積的推定値を用いてトレーニング中にバッチ統計をオンラインで計算する。
• バッチ正規化と同様に、隠れ活性化のサンプル次元に正規化を適用するが、バッチレベルの統計を必要としない。
• 順序付きまたは可変長入力でのトレーニング中に正確な正規化を維持するために、累積統計の再帰的更新ルールを用いる。
• 勾配バイアスを引き起こさない微分可能コンponentsとして正規化レイヤーを統合する。

実験結果

リサーチクエスチョン

• RQ1 バッチ正規化に依存しないが、同等の性能を達成できる正規化手法を開発することは可能か？
• RQ2 自動微分と互換性を持つ方法で、正規化された活性化の不偏勾配を計算することは可能か？
• RQ3 オンライン正規化は、バッチ処理が非現実的な再帰的ネットワークや全結合ネットワークの学習を安定化させることができるか？
• RQ4 さまざまなタスクにおいて、オンライン正規化とバッチ正規化の精度と収束性はどのように比較されるか？
• RQ5 オンライン正規化は、画像およびシーケンスモデリングタスクを含む、異なるアーキテクチャとデータセットに一般化可能か？

主な発見

• オンライン正規化は、ImageNetにおけるテスト精度をバッチ正規化と同等または上回り、性能の同等性を実証した。
• この手法により、メモリ制限やシーケンス制限のためバッチ正規化が非現実的な再帰的ネットワークや全結合ネットワークの安定した学習が可能になった。
• CIFAR-10およびCIFAR-100における実験から、オンライン正規化はバッチ統計を必要とせず、高い精度を維持することが確認された。
• PTB言語モデリングデータセットでは、オンライン正規化が競争力のあるパープレクシティスコアを達成し、順序付きモデリングにおける有効性を裏付けた。
• 理論的分析により、オンライン正規化が不偏な勾配推定を提供することが確認され、バッチ正規化の主要な限界が解消された。
• この手法は自動微分フレームワークと互換性があり、現代のディープラーニングパイプラインへのシームレスな統合を可能にした。