[论文解读] Batch Kalman Normalization: Towards Training Deep Neural Networks with Micro-Batches

Guangrun Wang, Jiefeng Peng+3 more|arXiv (Cornell University)|Feb 9, 2018

Advanced Neural Network Applications参考文献 15被引用 21

一句话总结

本文提出批量卡尔曼归一化（BKN），一种新颖的归一化技术，将深度神经网络视为统一系统，利用卡尔曼滤波原理改进内部表征的统计估计。BKN 在使用微小批量时实现稳定且快速的训练，在 ImageNet 上以 64 倍小的批量大小达到最先进准确率，并在 CIFAR-10/100 上分别优于 BN 及其变体 1.5% 和 3.5%。

ABSTRACT

As an indispensable component, Batch Normalization (BN) has successfully improved the training of deep neural networks (DNNs) with mini-batches, by normalizing the distribution of the internal representation for each hidden layer. However, the effectiveness of BN would diminish with scenario of micro-batch (e.g., less than 10 samples in a mini-batch), since the estimated statistics in a mini-batch are not reliable with insufficient samples. In this paper, we present a novel normalization method, called Batch Kalman Normalization (BKN), for improving and accelerating the training of DNNs, particularly under the context of micro-batches. Specifically, unlike the existing solutions treating each hidden layer as an isolated system, BKN treats all the layers in a network as a whole system, and estimates the statistics of a certain layer by considering the distributions of all its preceding layers, mimicking the merits of Kalman Filtering. BKN has two appealing properties. First, it enables more stable training and faster convergence compared to previous works. Second, training DNNs using BKN performs substantially better than those using BN and its variants, especially when very small mini-batches are presented. On the image classification benchmark of ImageNet, using BKN powered networks we improve upon the best-published model-zoo results: reaching 74.0% top-1 val accuracy for InceptionV2. More importantly, using BKN achieves the comparable accuracy with extremely smaller batch size, such as 64 times smaller on CIFAR-10/100 and 8 times smaller on ImageNet.

研究动机与目标

• 解决在小批量设置下因样本不足导致批量统计不可靠时，批量归一化（BN）的不稳定与性能差的问题。
• 在使用极小小批量大小时，提升深度神经网络的训练稳定性和收敛速度。
• 开发一种通过将网络建模为单一动态系统来利用各层间依赖关系的归一化方法，受卡尔曼滤波启发。
• 在保持与标准批量大小下 BN 性能相当的同时，显著降低所需批量大小，尤其适用于资源受限场景。

提出的方法

• BKN 将整个深度神经网络建模为单一动态系统，将各层统计量视为相互关联而非孤立的。
• 通过结合前一层的预测与当前小批量的观测统计量，估计每层内部表征的均值与协方差，模拟卡尔曼滤波过程。
• 该方法采用基于前一层估计均值与协方差的预测步骤，以及融合该预测与当前小批量统计量的更新步骤。
• 更新步骤中的增益因子在预测分布与观测批量统计量之间平衡信任程度，提升小样本场景下的鲁棒性。
• BKN 在训练迭代过程中保持统计量的移动平均，类似于 BN，但通过跨层信息流实现更精确的估计。
• 归一化层应用学习得到的缩放与偏移参数（γ 和 β），其梯度通过类似卡尔曼滤波的估计过程进行反向传播计算。

实验结果

研究问题

• RQ1 一种将整个网络视为统一系统的归一化方法，是否能在小批量设置下相比逐层归一化提升训练稳定性？
• RQ2 受卡尔曼滤波启发的统计估计方法，在小批量大小极低（例如 <10）时，如何提升批量统计量的可靠性？
• RQ3 在 ImageNet 上，当批量大小为标准 BN 设置的 64 倍小时，BKN 在多大程度上能维持或提升模型准确率？
• RQ4 在批量大小极小时，BKN 是否在收敛速度与最终准确率上优于批量重归一化（BRN）？
• RQ5 BKN 是否能在极小批量下于标准基准（如 CIFAR-10/100 和 ImageNet）上实现最先进性能？

主要发现

• 在 ImageNet 上，BKN 使用 InceptionV2 模型实现了 74.0% 的 top-1 验证准确率，超越了现有模型库的最佳公开结果。
• BKN 实现了在 CIFAR-10/100 上批量大小为标准 BN 的 64 分之一时，仍能保持相近的准确率。
• 在 CIFAR-100 上，当使用大小为 2 的微小批量时，BKN 相较于 BN 提升了 3.5% 的准确率，展现出对小批量的强鲁棒性。
• 在批量大小为 2 时，BKN 在 CIFAR-10 上实现了 91.0% 的准确率，而 BN 在批量大小为 128 时达到 92.1%，表明在极端微小批量下性能下降极小。
• BKN 展现出比 BN 和 BRN 更快的收敛速度与更高的训练稳定性，尤其在小批量设置下的早期训练阶段。
• 消融实验确认，卡尔曼滤波机制至关重要，因为移除该机制后性能无法超越标准 BN。