[论文解读] Demystifying Batch Normalization in ReLU Networks: Equivalent Convex Optimization Models and Implicit Regularization

Tolga Ergen, Arda Sahiner+4 more|arXiv (Cornell University)|Mar 2, 2021

Advanced Neural Network Applications参考文献 30被引用 9

一句话总结

本文提出了一种用于带有批量归一化（BN）的ReLU网络的精确凸优化框架，揭示了BN在训练过程中隐式地对特征进行白化处理，并倾向于使梯度下降朝高奇异值方向偏置。该研究推导出在高维和过参数化设置下最优权重的闭式解，并证明显式正则化可模拟BN网络中梯度下降的隐式偏置，从而在CIFAR-10上提升性能。

ABSTRACT

Batch Normalization (BN) is a commonly used technique to accelerate and stabilize training of deep neural networks. Despite its empirical success, a full theoretical understanding of BN is yet to be developed. In this work, we analyze BN through the lens of convex optimization. We introduce an analytic framework based on convex duality to obtain exact convex representations of weight-decay regularized ReLU networks with BN, which can be trained in polynomial-time. Our analyses also show that optimal layer weights can be obtained as simple closed-form formulas in the high-dimensional and/or overparameterized regimes. Furthermore, we find that Gradient Descent provides an algorithmic bias effect on the standard non-convex BN network, and we design an approach to explicitly encode this implicit regularization into the convex objective. Experiments with CIFAR image classification highlight the effectiveness of this explicit regularization for mimicking and substantially improving the performance of standard BN networks.

研究动机与目标

• 通过凸优化，对ReLU网络中的批量归一化提供一个理论上完整的表征。
• 揭示梯度下降在BN网络中产生的隐式正则化效应，该效应在标准凸公式中并不存在。
• 开发一种显式正则化技术，以捕捉GD在BN网络中的算法偏置。
• 将凸优化框架扩展至包含BN的深层ReLU网络，包括卷积神经网络（CNNs）和向量输出结构。
• 证明在高维设置下，最优权重可通过凸对偶性推导出闭式解。

提出的方法

• 利用凸对偶性，为带权重衰减正则化的ReLU网络与BN建立等价的有限维凸问题。
• 揭示BN对数据矩阵产生白化效应，通过SVD将其转化为去均值化并白化的形式。
• 在输入矩阵为满行秩的高维设置下（$n \leq d$），推导出两层网络最优层权重的闭式解。
• 识别出在BN网络上进行梯度下降时，会隐式正则化数据的高奇异值方向，而这一特性在标准凸公式中未被捕捉。
• 提出一种方法，通过结构化范数将此隐式正则化显式编码进凸目标函数中。
• 将该框架应用于深层网络、CNNs、ReLU后的BN以及任意凸损失函数，推广了先前关于凸ReLU网络的研究成果。

实验结果

研究问题

• RQ1 如何通过凸优化形式化表征ReLU网络中的批量归一化？
• RQ2 梯度下降在BN网络中诱导的隐式正则化效应是什么？它与标准凸公式的区别何在？
• RQ3 是否可以在凸优化框架中显式建模GD在BN网络中的隐式偏置？
• RQ4 在过参数化和高维ReLU网络中，BN的最优权重是否存在闭式解？
• RQ5 BN的位置（在ReLU之前或之后）如何影响最终的凸优化模型及特征白化效果？

主要发现

• 带BN和权重衰减的ReLU网络的最优解可等价地表述为一个有限维凸问题。
• 批量归一化对数据矩阵产生白化效应，通过SVD将其转化为去均值化并白化的形式，该效应通过凸对偶性被明确揭示。
• 在高维设置下（$n \leq d$），当输入数据为满行秩时，两层网络的最优解可闭式计算为 $\mathbf{w}^{(1)*} = \mathbf{X}^\dagger(\mathbf{y} - \min_i y_i)$，$w^{(2)*} = (\|\mathbf{y}\|_2 - \beta)_+$。
• 在BN网络上进行梯度下降时，会隐式地将学习过程偏向数据的高奇异值方向，而这一特性在标准白化数据的凸公式中并不存在。
• 通过显式正则化凸模型以捕捉该隐式偏置，可在CIFAR-10上实现性能提升，验证了所提框架的有效性。
• 该框架可推广至深层网络、CNNs、ReLU后的BN以及向量输出网络，将先前关于凸ReLU网络的研究成果从两层全连接网络扩展至更广泛场景。