[论文解读] Batch Group Normalization

Xiao-Yun Zhou, Jiacheng Sun+7 more|arXiv (Cornell University)|Dec 4, 2020

Advanced Neural Network Applications参考文献 75被引用 10

一句话总结

批量组归一化（BGN）通过在通道、高度和宽度维度上采用基于分组的统计计算，使用超参数G控制分组大小，解决了批量归一化（BN）在小批量和极端大批次下性能退化的问题。BGN在多种视觉任务中实现了最先进（SOTA）的准确率，例如在批量大小为2时，ImageNet上的Top-1准确率达到76.096%，显著优于相同条件下BN的66.512%。

ABSTRACT

Deep Convolutional Neural Networks (DCNNs) are hard and time-consuming to train. Normalization is one of the effective solutions. Among previous normalization methods, Batch Normalization (BN) performs well at medium and large batch sizes and is with good generalizability to multiple vision tasks, while its performance degrades significantly at small batch sizes. In this paper, we find that BN saturates at extreme large batch sizes, i.e., 128 images per worker, i.e., GPU, as well and propose that the degradation/saturation of BN at small/extreme large batch sizes is caused by noisy/confused statistic calculation. Hence without adding new trainable parameters, using multiple-layer or multi-iteration information, or introducing extra computation, Batch Group Normalization (BGN) is proposed to solve the noisy/confused statistic calculation of BN at small/extreme large batch sizes with introducing the channel, height and width dimension to compensate. The group technique in Group Normalization (GN) is used and a hyper-parameter G is used to control the number of feature instances used for statistic calculation, hence to offer neither noisy nor confused statistic for different batch sizes. We empirically demonstrate that BGN consistently outperforms BN, Instance Normalization (IN), Layer Normalization (LN), GN, and Positional Normalization (PN), across a wide spectrum of vision tasks, including image classification, Neural Architecture Search (NAS), adversarial learning, Few Shot Learning (FSL) and Unsupervised Domain Adaptation (UDA), indicating its good performance, robust stability to batch size and wide generalizability. For example, for training ResNet-50 on ImageNet with a batch size of 2, BN achieves Top1 accuracy of 66.512% while BGN achieves 76.096% with notable improvement.

研究动机与目标

• 解决由于统计估计噪声或混淆导致的批量归一化（BN）在小批量和极端大批次下性能退化的问题。
• 克服现有归一化方法（如GN、IN、LN和PN）在多样化视觉任务中缺乏鲁棒性或泛化能力的局限。
• 提出一种参数和计算效率高的归一化方法，在不引入额外可学习参数或多层信息的情况下，保持不同批量大小下的高性能。
• 在多个视觉基准测试中实现一致的性能提升，包括图像分类、少样本学习和无监督域自适应。

提出的方法

• 通过将通道、高度和宽度维度合并为单一维度，并将其划分为G组，引入基于分组的统计计算。
• 在完整小批量和每个组内分别计算归一化统计量（均值和方差），避免因单个或过大组导致的噪声估计。
• 使用超参数G控制用于统计计算的特征实例数量，实现对不同批量大小的自适应鲁棒性。
• 保持与BN相同的重参数化（缩放和偏移）机制，确保与标准深度学习架构的兼容性。
• 对每个特征组应用归一化操作，保留表征能力的同时稳定训练过程。
• 将BGN作为BN的即插即用替代品集成到现有模型中，无需修改网络架构或训练流程。

实验结果

研究问题

• RQ1 为何批量归一化（BN）在小批量和极大批量下性能会退化？
• RQ2 是否可以通过修改统计计算过程，在不增加可学习参数或多倍计算量的前提下缓解BN的性能退化？
• RQ3 在通道、高度和宽度维度上对特征实例进行分组，如何改善归一化层中的统计估计？
• RQ4 所提出的批量组归一化（BGN）在多样化视觉任务和批量大小下是否比BN、GN、IN、LN和PN具有更好的泛化能力？
• RQ5 BGN是否能在低数据场景（如少样本学习）和域自适应场景中实现更优性能？

主要发现

• 在批量大小为2的ImageNet上，BGN实现了76.096%的Top-1准确率，显著优于相同条件下BN的66.512%。
• 在mini-ImageNet的5-way 1-shot少样本学习设置下，BGN实现了59.50%的平均准确率，优于BN（59.30%）、IN（52.17%）和GN（56.55%）。
• 在5-way 5-shot少样本学习设置下，BGN实现了76.32%的准确率，超过BN（76.22%）、IN（70.49%）和GN（73.20%）。
• 在Office-31数据集的无监督域自适应任务中，BGN实现了90.9%的平均准确率，优于BN（90.1%）、GN（88.6%）及其他基线方法，其中wa任务提升达1.5%。
• BGN在所有评估任务中均表现出一致的性能提升——包括图像分类、神经架构搜索（NAS）、对抗学习、少样本学习和域自适应——表明其具备极强的泛化能力。
• 该方法在小批量和极端大批次下均保持高性能，解决了BN在这些情况下的饱和与退化问题，且无需引入额外参数或计算开销。