[论文解读] Batch Normalization Explained

Randall Balestriero, Richard G. Baraniuk|arXiv (Cornell University)|Sep 29, 2022

Neural Networks and Applications被引用 10

一句话总结

本文通过将批量归一化（BN）视为一种自监督函数逼近技术，为深度神经网络中的批量归一化提供了新颖的理论解释，该技术可自适应地调整网络分段仿射样条分区的几何结构，以匹配数据分布。即使权重随机初始化，BN 仍可作为一种‘智能初始化’，使线性区域与数据对齐；而小批量统计量则引入类似 Dropout 的扰动，通过增大决策边界的边际来提升泛化性能。

ABSTRACT

A critically important, ubiquitous, and yet poorly understood ingredient in modern deep networks (DNs) is batch normalization (BN), which centers and normalizes the feature maps. To date, only limited progress has been made understanding why BN boosts DN learning and inference performance; work has focused exclusively on showing that BN smooths a DN's loss landscape. In this paper, we study BN theoretically from the perspective of function approximation; we exploit the fact that most of today's state-of-the-art DNs are continuous piecewise affine (CPA) splines that fit a predictor to the training data via affine mappings defined over a partition of the input space (the so-called "linear regions"). {\em We demonstrate that BN is an unsupervised learning technique that -- independent of the DN's weights or gradient-based learning -- adapts the geometry of a DN's spline partition to match the data.} BN provides a "smart initialization" that boosts the performance of DN learning, because it adapts even a DN initialized with random weights to align its spline partition with the data. We also show that the variation of BN statistics between mini-batches introduces a dropout-like random perturbation to the partition boundaries and hence the decision boundary for classification problems. This per mini-batch perturbation reduces overfitting and improves generalization by increasing the margin between the training samples and the decision boundary.

研究动机与目标

• 提供对批量归一化在优化平滑之外的理论理解，重点关注函数逼近。
• 解释为何 BN 尽管广泛应用且理论基础有限，仍能提升泛化性能与训练速度。
• 证明即使权重随机初始化，BN 也能隐式地将网络的样条分区自适应地调整至数据分布。
• 展示 BN 的小批量统计量通过边界扰动引入一种隐式正则化形式。
• 确立 BN 作为一种数据自适应初始化机制，从训练开始即提升网络性能。

提出的方法

• 将现代深度网络建模为连续分段仿射（CPA）样条，其中每个线性区域对应输入空间的一个分区。
• 分析 BN 如何通过使用小批量统计量对通道激活进行中心化和归一化，来重参数化网络的特征图。
• 表明即使权重随机初始化，BN 也会隐式地将样条分区的边界向数据簇移动。
• 推导出 BN 的每个小批量统计量会在线性区域边界的分区上引入随机扰动，类似于 Dropout。
• 通过理论分析与实证验证，将此扰动与数据与决策边界之间边际的增大联系起来。
• 运用场论均值与方差分析，形式化 BN 对线性区域几何结构与梯度条件的影响。

实验结果

研究问题

• RQ1 批量归一化如何在平滑损失曲面之外提升泛化性能？
• RQ2 为何 BN 即使在权重随机设置时，仍能作为一种强大的初始化技术？
• RQ3 BN 对深度网络输入空间样条分区的几何结构有何影响？
• RQ4 BN 中小批量统计量的随机性如何促进正则化？
• RQ5 BN 是否可被理解为一种无监督的数据自适应函数逼近形式？

主要发现

• 批量归一化作为一种无监督学习技术，即使在权重随机初始化时，也能自适应地调整深度网络样条分区的几何结构以匹配数据分布。
• 该调整产生了一种‘智能初始化’，使线性区域边界更靠近数据点，从而增加训练样本周围区域的密度。
• BN 统计量在小批量之间的变化，对决策边界引入类似 Dropout 的扰动，从而增大数据与边界之间的边际，降低过拟合风险。
• 在 CIFAR-100 上的实证结果表明，BN 初始化的网络在未使用数据增强或训练时 BN 的情况下，仍能比随机或有偏初始化更快达到更高的测试准确率。
• 理论分析证实，BN 通过减小权重更新的方差，对梯度进行正则化并改善优化曲面的条件。
• BN 的影响不仅限于优化过程；它从根本上通过将网络的功能分区与数据流形对齐，改变了网络的归纳偏置。