[论文解读] BCN: Batch Channel Normalization for Image Classification

Afifa Khaled, Chao Li+2 more|arXiv (Cornell University)|Dec 1, 2023

Advanced Neural Network Applications被引用 4

一句话总结

本文提出了一种新型归一化技术——批量通道归一化（BCN），通过分别沿 (N, H, W) 和 (C, H, W) 通道对批量和通道维度进行独立归一化，再利用可学习参数自适应融合结果，实现对批量和通道依赖的联合建模。BCN 在 CNN 和视觉 Transformer 模型中均展现出更优的泛化能力与训练速度，在 CIFAR-10、CIFAR-100、SVHN 和 ImageNet 数据集上优于 BN、LN 及其他基线方法。

ABSTRACT

Normalization techniques have been widely used in the field of deep learning due to their capability of enabling higher learning rates and are less careful in initialization. However, the effectiveness of popular normalization technologies is typically limited to specific areas. Unlike the standard Batch Normalization (BN) and Layer Normalization (LN), where BN computes the mean and variance along the (N,H,W) dimensions and LN computes the mean and variance along the (C,H,W) dimensions (N, C, H and W are the batch, channel, spatial height and width dimension, respectively), this paper presents a novel normalization technique called Batch Channel Normalization (BCN). To exploit both the channel and batch dependence and adaptively and combine the advantages of BN and LN based on specific datasets or tasks, BCN separately normalizes inputs along the (N, H, W) and (C, H, W) axes, then combines the normalized outputs based on adaptive parameters. As a basic block, BCN can be easily integrated into existing models for various applications in the field of computer vision. Empirical results show that the proposed technique can be seamlessly applied to various versions of CNN or Vision Transformer architecture. The code is publicly available at https://github.com/AfifaKhaled/BatchChannel-Normalization

研究动机与目标

• 解决小批量设置下批量归一化（BN）的局限性，以及卷积层中层归一化（LN）的不足。
• 开发一种同时利用批量与通道依赖关系以提升特征表示能力的归一化技术。
• 构建一种通用的归一化层，以增强多种架构下的训练稳定性、收敛速度与模型泛化能力。
• 实现在在线学习与分布式训练场景中有效使用归一化，而 BN 在此类场景中受到限制。
• 通过在多个视觉基准与模型架构上的实证验证，证明 BCN 在 BN、LN、IN 和 GN 上的优越性。

提出的方法

• BCN 分别沿 (N, H, W) 维度（类似 BN）与 (C, H, W) 维度（类似 LN）计算均值与方差。
• 在 (N, H, W) 维度上应用类似 BN 的归一化，在 (C, H, W) 维度上应用类似 LN 的归一化。
• 通过可学习的自适应参数将两种归一化输出进行融合，动态加权每种归一化流的贡献。
• 自适应融合机制使 BCN 能够根据输入数据分布自动优先选择最相关的统计信息。
• BCN 具备即插即用特性，仅需极少架构修改，且与现有 CNN 和视觉 Transformer 模型兼容。
• 该方法使用小的 epsilon 值以保证数值稳定性，并包含可学习的缩放（γ）与偏移（β）参数以实现特征重参数化。

Figure 1 : Visualization on several normalization techniques. Each subplot shows a feature map tensor with N the batch axes, C the channel axes, and (H, W) the spatial height and width axes.

实验结果

研究问题

• RQ1 一种同时建模批量与通道依赖的归一化技术，是否能在图像分类任务中超越标准 BN 与 LN？
• RQ2 在小批量设置下（BN 通常性能下降），BCN 是否仍能保持优异性能？
• RQ3 BCN 是否能同时提升卷积网络与视觉 Transformer 模型的训练速度与泛化能力？
• RQ4 批量与通道统计信息的自适应融合，如何影响不同数据集上模型的收敛性与准确率？
• RQ5 BCN 在自监督学习与大规模视觉任务（如 ImageNet）中是否有效？

主要发现

• 在 CIFAR-10 上，BCN 经过 20 个训练周期后达到 84.16% 的验证准确率，优于 BN（78.58%）与 LN（79.74%）的相同设置。
• 在 CIFAR-100 上，BCN 达到最先进性能，显著优于 BN、LN、IN 与 GN，泛化能力大幅提升。
• 在视觉 Transformer（ViT）实验中，将 BN 替换为 BCN，使 CIFAR-100 上的测试准确率提升 0.72%，训练准确率提升 0.73%。
• 即使在极小批量设置下（如 2 和 4），BCN 仍保持强大性能，批量大小为 2 时验证准确率达到 81.42%。
• 在 ImageNet 上使用 DenseNet-201 时，BCN 展现出优于 BN 的训练与测试准确率，如图 10 与图 11 所示。
• 消融实验确认，直接对 (N, C, H, W) 进行归一化的效果不如 BCN 所采用的双流自适应融合方法。

Figure 10 : Training accuracy of DenseNet with ImageNet dataset.