[論文レビュー] Normalizing the Normalizers: Comparing and Extending Network Normalization Schemes

Mengye Ren, Renjie Liao+3 more|arXiv (Cornell University)|Nov 14, 2016

Domain Adaptation and Few-Shot Learning被引用数 47

ひとこと要約

本論文は、バッチ正規化とレイヤー正規化を一般化する統一的除法正規化フレームワークを提案する。このフレームワークは、テンソルの異なる次元に沿って活性化を正規化することで、バッチ統計に依存せず、畳み込みニューラルネットワーク（CNN）および再帰的ニューラルネットワーク（RNN）において、訓練の安定性と性能を向上させる。画像分類、言語モデリング、超解像のタスクで最先端の結果を達成している。

ABSTRACT

Normalization techniques have only recently begun to be exploited in supervised learning tasks. Batch normalization exploits mini-batch statistics to normalize the activations. This was shown to speed up training and result in better models. However its success has been very limited when dealing with recurrent neural networks. On the other hand, layer normalization normalizes the activations across all activities within a layer. This was shown to work well in the recurrent setting. In this paper we propose a unified view of normalization techniques, as forms of divisive normalization, which includes layer and batch normalization as special cases. Our second contribution is the finding that a small modification to these normalization schemes, in conjunction with a sparse regularizer on the activations, leads to significant benefits over standard normalization techniques. We demonstrate the effectiveness of our unified divisive normalization framework in the context of convolutional neural nets and recurrent neural networks, showing improvements over baselines in image classification, language modeling as well as super-resolution.

研究の動機と目的

• テンソル次元に沿った除法正規化に基づき、バッチ正規化、レイヤー正規化、除法正規化を統一するフレームワークを構築すること。
• 正規化の性能に与える影響を評価するため、正規化の分母に滑らかさ項（σ²）とL1正則化を追加すること。
• 様々なタスクにおいて、畳み込みおよび再帰的ニューラルネットワークにおける本手法の有効性を評価すること。
• 特に小バッチサイズおよびRNN設定において、訓練の安定性と一般化性能の向上を示すこと。
• 除法正規化に正則化を組み合わせた手法が、標準的な正規化手法を上回ることを実証的根拠で示すこと。

提案手法

• 異なるテンソル次元（例：バッチ、レイヤー、フィルタ、インスタンス）に沿った除法操作として正規化を形式化し、バッチ正規化とレイヤー正規化を特別なケースとして統合する。
• 数値的安定性と可逆性を向上させるために、正規化の分母に滑らかさパラメータσ²を導入する。
• 事前正規化された活性化にL1正則化を適用し、スパarsityを促進し、フィルタ応答間の相関を低減する。
• レイヤー正規化を滑らかさパラメータを備えた除法正規化の一種として再定式化し、性能を向上させる。
• 画像分類（CIFAR-10/100）、言語モデリング（PTB）、超解像タスクにおいて、提案された除法正規化フレームワークでモデルを学習する。
• 除去実験を通じて、σ²とL1正則化がモデル性能に与える影響を分離して評価する。

実験結果

リサーチクエスチョン

• RQ1 統一的除法正規化フレームワークは、バッチ正規化およびレイヤー正規化と比較して、性能と安定性の面でどのように異なるか？
• RQ2 深層ネットワークにおける正規化の分母に滑らかさ項（σ²）を追加すると、どのような影響を及ぼすか？
• RQ3 事前正規化された活性化にL1正則化を適用すると、表現学習およびモデル一般化にどのような影響を与えるか？
• RQ4 除法正規化は、特に小バッチサイズの再帰的ニューラルネットワーク（RNN）において、バッチ正規化を上回ることができるか？
• RQ5 σ²とL1正則化の組み合わせにより、より独立的で頑健な特徴表現が得られるか？

主な発見

• CIFAR-100におけるテスト精度は、提案手法が0.8122を達成し、標準的なバッチ正規化（0.5156）およびレイヤー正規化（0.4957）を上回った。
• PTBデータセットにおける言語モデリングでは、ReLU RNNを用いた手法が交差エントロピー損失を117.868まで低下させ、ベースラインモデルおよび標準的な正規化手法を上回った。
• σ²の追加のみでも、RNNにおいて顕著な性能向上が見られ、損失はベースラインの149.357からBN*の138.947、LN*の116.609にまで低下した。これは、より強い正則化効果を示している。
• 除去実験の結果、σ²およびL1正則化の両方が、すべてのアーキテクチャおよびタスクにおいて一貫して性能向上をもたらした。特にRNNではσ²の影響が顕著であった。
• 統合ヒストグラム解析により、σ²とL1正則化がペアワイズ相関（Corr）を低下させ、相互情報量（MI）を増加させ、より独立した表現を促進することが確認された。
• 本手法により、RNNにおける高い学習率でも安定した学習が可能となり、訓練ダイナミクスおよび頑健性の向上が示された。