[論文レビュー] Extended Batch Normalization

Chunjie Luo, Jianfeng Zhan+2 more|arXiv (Cornell University)|Mar 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 11

ひとこと要約

本稿では、拡張バッチ正規化（EBN）を提案する。EBNは、標準バッチ正規化と同様に (N, H, W) 維度でバッチ平均を計算するが、標準偏差の計算を全 (N, C, H, W) テンソルにまで拡張することで、小バッチサイズ下でも統計推定を改善する。EBNは、大バッチサイズのBNに近い性能を達成するとともに、小バッチサイズ下ではBNを著しく上回り、CIFAR、STL-10、ImageNetのベンチマークにおいてGNと同等またはそれを上回る精度を達成する。

ABSTRACT

Batch normalization (BN) has become a standard technique for training the modern deep networks. However, its effectiveness diminishes when the batch size becomes smaller, since the batch statistics estimation becomes inaccurate. That hinders batch normalization's usage for 1) training larger model which requires small batches constrained by memory consumption, 2) training on mobile or embedded devices of which the memory resource is limited. In this paper, we propose a simple but effective method, called extended batch normalization (EBN). For NCHW format feature maps, extended batch normalization computes the mean along the (N, H, W) dimensions, as the same as batch normalization, to maintain the advantage of batch normalization. To alleviate the problem caused by small batch size, extended batch normalization computes the standard deviation along the (N, C, H, W) dimensions, thus enlarges the number of samples from which the standard deviation is computed. We compare extended batch normalization with batch normalization and group normalization on the datasets of MNIST, CIFAR-10/100, STL-10, and ImageNet, respectively. The experiments show that extended batch normalization alleviates the problem of batch normalization with small batch size while achieving close performances to batch normalization with large batch size.

研究の動機と目的

• バッチサイズが小さい場合に生じる統計推定の不正確さにより、バッチ正規化（BN）の性能が低下する問題に対処すること。
• 大規模またはメモリ制限のあるモデル、特にモバイルや組み込みデバイス上での有効な訓練を可能にすること。
• 高速収束や内在的正則化といったBNの利点を維持しつつ、小バッチサイズに対するロバスト性を向上させること。
• グループ正規化に必要なハイパーパramータチューニングを回避する、シンプルでパラメータフリーの正規化手法を提供すること。

提案手法

• EBNは、(N, H, W) 維度での平均計算により、特徴レベルの正規化において元のBNの挙動を保持する。
• EBNは、(N, C, H, W) 維度での標準偏差計算により、分散推定に使用するサンプル数を増加させる。
• 訓練中は平均および標準偏差の移動平均を用い、推論時には固定されるため、畳み込みとの計算統合が可能になる。
• EBNは、推論時の計算パターンをBNと同一に保つため、エッジデバイス上での効率的なデプロイが可能になる。
• バッチ再正規化や正規化伝播とは異なり、新たな可学習パラメータや複雑な依存関係を導入しない。

実験結果

リサーチクエスチョン

• RQ1 新しいハイパーパramータを導入せずに、バッチ正規化の単純な修正によって小バッチサイズ下での性能向上が可能か？
• RQ2 異なるデータセットおよびバッチサイズ下で、EBNはBNおよびGNと比較して精度と訓練安定性においてどのように差をつけるか？
• RQ3 EBNは、小バッチサイズに対するロバスト性を向上させつつ、標準BNと同等の計算効率とモデル収束速度を維持できるか？
• RQ4 非常に小さなバッチサイズで訓練した場合でも、EBNは大バッチサイズBNに近い性能を達成できるか？

主な発見

• CIFAR-10でバッチサイズ4の場合、EBNは88.94%のテスト精度を達成し、BN（88.42%）およびGN（87.73%）を上回った。
• CIFAR-100でバッチサイズ4の場合、EBNは70.03%の精度を達成し、BN（69.41%）およびGN（68.91%）を上回った。
• STL-10でバッチサイズ2の場合、EBNは77.96%の精度を達成し、BN（76.91%）およびGN（76.17%）を上回った。
• ImageNetでGPUあたりバッチサイズ4の場合、EBNはトップ-1精度68.54%を達成し、BN（65.78%）を2.76ポイント、GN（69.08%）を0.54ポイント上回った。
• 大バッチサイズ（ImageNetでGPUあたり64）の場合、EBNは70.12%の精度を達成し、BN（70.37%）から0.25ポイント以内、GN（68.77%）から1.35ポイント上回った。