[論文レビュー] A New Look at Ghost Normalization

Neofytos Dimitriou, Ognjen Arandjelović|arXiv (Cornell University)|Jul 16, 2020

Advanced Neural Network Applications参考文献 23被引用数 4

ひとこと要約

本論文は、データ拡張を用いないCIFAR-10およびCIFAR-100で最先端の性能を達成する、新しい正則化手法である順序付き正則化（SeqNorm）を提案する。SeqNormは、ゴースト正則化（GhostNorm）とグループ正則化（GroupNorm）を逐次的に適用する。ゴースト正則化に内在する独自の正則化機構を同定し、損失のランドスケープ可視化により、ゴースト正則化が滑らかさを低減し、特に小さなバッチサイズで一般化性能が向上することを示している。

ABSTRACT

Batch normalization (BatchNorm) is an effective yet poorly understood technique for neural network optimization. It is often assumed that the degradation in BatchNorm performance to smaller batch sizes stems from it having to estimate layer statistics using smaller sample sizes. However, recently, Ghost normalization (GhostNorm), a variant of BatchNorm that explicitly uses smaller sample sizes for normalization, has been shown to improve upon BatchNorm in some datasets. Our contributions are: (i) we uncover a source of regularization that is unique to GhostNorm, and not simply an extension from BatchNorm, (ii) three types of GhostNorm implementations are described, two of which employ BatchNorm as the underlying normalization technique, (iii) by visualising the loss landscape of GhostNorm, we observe that GhostNorm consistently decreases the smoothness when compared to BatchNorm, (iv) we introduce Sequential Normalization (SeqNorm), and report superior performance over state-of-the-art methodologies on both CIFAR--10 and CIFAR--100 datasets.

研究の動機と目的

• バッチサイズが小さいと統計推定が不十分になるため、バッチ正則化（BatchNorm）の性能が劣化するという広く信じられている考えに挑戦すること。
• バッチ正則化とは異なる、ゴースト正則化に内在する独自の正則化源を解明すること。
• 画像分類ベンチマークで既存手法を上回る性能を示す、新しい正則化手法（順序付き正則化：SeqNorm）を提案し、実験的に検証すること。
• 網羅的なグリッドサーチを回避する、効率的なSeqNormのハイパーパrameterチューニング戦略を構築すること。
• ゴースト正則化の損失ランドスケープを可視化・分析し、最適化ダイナミクスに与える影響を明らかにすること。

提案手法

• ゴースト正則化（GhostNorm）を順次適用し、その後にグループ正則化（GroupNorm）を適用する順序付き正則化（SeqNorm）を提案。これにより、より優れた特徴正則化と一般化性能が実現可能となる。
• 2段階のハイパーパrameterチューニング戦略を採用：まず、ゴースト正則化のグループ数（$G_M$）を最適化し、その後、最良の$G_M$を用いてグループ正則化のグループ数（$G_C$）をチューニングする。
• 勾配蓄積とマルチGPUトレーニングを活用し、ゴースト正則化の小さなバッチサイズをシミュレート。これにより、限られたバッチサイズでも効果的な学習が可能となる。
• ゴースト正則化の損失ランドスケープを可視化し、特に後期の学習エポックにおいてバッチ正則化と比較して滑らかさが一貫して低減していることを観察。
• ミニバッチをより小さなグループに明示的に分割し、独立して正則化を行うゴースト正則化の新規実装を導入。これにより、確率的要因が強化され、正則化性能が向上。
• ゴースト正則化の出力をグループ正則化に逐次入力するパイプラインを採用。これにより、ネットワークはよりロバストかつ分離された特徴表現を学習可能となる。

実験結果

リサーチクエスチョン

• RQ1 統計推定に使用するサンプル数が少ないにもかかわらず、なぜゴースト正則化が優れた性能を発揮するのか？
• RQ2 ゴースト正則化は、バッチ正則化とは異なる独自の正則化形式を導入しているのか？
• RQ3 ゴースト正則化とグループ正則化を逐次的に組み合わせることで、単独で使用する場合よりも優れた一般化性能が得られるのか？
• RQ4 ゴースト正則化の損失ランドスケープは、バッチ正則化と比較してどのように異なるのか？最適化ダイナミクスにどのような意味を持つのか？
• RQ5 完全なグリッドサーチを回避しつつも性能を維持できる、SeqNormのより効率的なハイパーパrameterチューニング戦略を開発可能か？

主な発見

• ゴースト正則化は、$G_M = 8$の設定で、1グループあたり4サンプルしか使用しないにもかかわらず、CIFAR-100で82.8%のテスト精度を達成。バッチ正則化（82.1%）を上回る性能を示した。
• $G_C = 4$かつ$G_M = 8$の順序付き正則化（SeqNorm）は、CIFAR-100で83.8%のテスト精度を達成。データ拡張なしで、当該データセットの現在のSOTAを上回った。
• CIFAR-10では、$G_C = 16$かつ$G_M = 8$のSeqNormが97.4%のテスト精度を達成。よりシンプルなトレーニング設定で、現在のSOTAと同等の性能を達成した。
• 損失ランドスケープの可視化により、ゴースト正則化は特に後期の学習エポックにおいて、バッチ正則化と比較して一貫して滑らかさを低減していることが確認され、より複雑だが一般化性に優れた最適化経路である可能性が示された。
• $G_M$と$G_C$の順次チューニング戦略により、時間計算量が$\Theta(G_C + G_M)$に削減され、完全なグリッドサーチに比べてハイパーパrameter探索が高速化された。
• 実験により、SeqNormにおけるゴースト正則化とグループ正則化の適用順序を逆転させたり、同時に適用したりすると性能が劣化することが判明。これにより、逐次的適用の重要性が裏付けられた。