[论文解读] Extended Batch Normalization

Chunjie Luo, Jianfeng Zhan+2 more|arXiv (Cornell University)|Mar 12, 2020

Domain Adaptation and Few-Shot Learning参考文献 28被引用 11

一句话总结

该论文提出了一种扩展批量归一化（Extended Batch Normalization, EBN）方法，该方法在计算批量均值时沿 (N, H, W) 维度进行，类似于标准批量归一化，但通过在整个 (N, C, H, W) 张量上计算标准差，以在小批量尺寸下提升统计估计的准确性。EBN 在小批量设置下显著优于标准批量归一化，且在性能上接近大批次批量归一化，同时在 CIFAR、STL-10 和 ImageNet 基准测试中达到或超过组归一化（GN）的准确率。

ABSTRACT

Batch normalization (BN) has become a standard technique for training the modern deep networks. However, its effectiveness diminishes when the batch size becomes smaller, since the batch statistics estimation becomes inaccurate. That hinders batch normalization's usage for 1) training larger model which requires small batches constrained by memory consumption, 2) training on mobile or embedded devices of which the memory resource is limited. In this paper, we propose a simple but effective method, called extended batch normalization (EBN). For NCHW format feature maps, extended batch normalization computes the mean along the (N, H, W) dimensions, as the same as batch normalization, to maintain the advantage of batch normalization. To alleviate the problem caused by small batch size, extended batch normalization computes the standard deviation along the (N, C, H, W) dimensions, thus enlarges the number of samples from which the standard deviation is computed. We compare extended batch normalization with batch normalization and group normalization on the datasets of MNIST, CIFAR-10/100, STL-10, and ImageNet, respectively. The experiments show that extended batch normalization alleviates the problem of batch normalization with small batch size while achieving close performances to batch normalization with large batch size.

研究动机与目标

• 为解决小批量尺寸下因统计估计不准确而导致批量归一化（BN）性能下降的问题。
• 实现对更大模型或内存受限模型（包括移动设备和嵌入式设备）的有效训练。
• 在提升对小批量尺寸鲁棒性的同时，保持批量归一化（BN）的优势，如快速收敛和内在正则化能力。
• 提供一种简单、无需超参数调优的归一化方法，避免组归一化（GN）所需的超参数调整。

提出的方法

• EBN 在 (N, H, W) 维度上计算均值，保留原始 BN 在特征层面归一化的行为。
• EBN 在 (N, C, H, W) 维度上计算标准差，从而增加用于方差估计的样本数量。
• 训练过程中使用均值和标准差的移动平均，并在推理阶段固定，支持与卷积运算的计算融合。
• EBN 保持与 BN 相同的推理阶段计算模式，有利于在边缘设备上高效部署。
• 该方法避免引入新的可学习参数或复杂依赖关系，与批量重归一化或归一化传播等方法不同。

实验结果

研究问题

• RQ1 对批量归一化进行简单修改，是否能在不引入新超参数的前提下提升其在小批量尺寸下的性能？
• RQ2 在不同数据集和批量尺寸下，EBN 与 BN 和 GN 在准确率和训练稳定性方面有何对比？
• RQ3 EBN 是否在保持标准 BN 的计算效率和模型收敛速度的同时，提升了对小批量的鲁棒性？
• RQ4 即使在极小批量下训练，EBN 是否仍能实现接近大批次 BN 的性能表现？

主要发现

• 在 CIFAR-10 上，批量大小为 4 时，EBN 达到 88.94% 的测试准确率，优于 BN（88.42%）和 GN（87.73%）。
• 在 CIFAR-100 上，批量大小为 4 时，EBN 达到 70.03% 的准确率，超过 BN（69.41%）和 GN（68.91%）。
• 在 STL-10 上，批量大小为 2 时，EBN 达到 77.96% 的准确率，优于 BN（76.91%）和 GN（76.17%）。
• 在 ImageNet 上，每 GPU 批量大小为 4 时，EBN 达到 68.54% 的 top-1 准确率，比 BN（65.78%）高出 2.76 个百分点，比 GN（69.08%）低 0.54 个百分点。
• 在大批次设置下（ImageNet 上每 GPU 批量大小为 64），EBN 达到 70.12% 的准确率，与 BN（70.37%）相差仅 0.25 个百分点，且比 GN（68.77%）高出 1.35 个百分点。