[论文解读] Batch Normalization Orthogonalizes Representations in Deep Random Networks

Hadi Daneshmand, Amir Joudaki+1 more|arXiv (Cornell University)|Jun 7, 2021

Adversarial Robustness in Machine Learning参考文献 37被引用 9

一句话总结

该论文表明，在具有随机线性权重的深度随机网络中，批量归一化（BN）会使隐藏表征逐渐趋于正交，且正交性随深度指数级提升，随宽度反比改善。理论上，表征收敛至各向同性高斯分布的 Wasserstein-2 球内；实验上，从正交表征开始可加速 SGD，且无需 BN。

ABSTRACT

This paper underlines a subtle property of batch-normalization (BN): Successive batch normalizations with random linear transformations make hidden representations increasingly orthogonal across layers of a deep neural network. We establish a non-asymptotic characterization of the interplay between depth, width, and the orthogonality of deep representations. More precisely, under a mild assumption, we prove that the deviation of the representations from orthogonality rapidly decays with depth up to a term inversely proportional to the network width. This result has two main implications: 1) Theoretically, as the depth grows, the distribution of the representation -- after the linear layers -- contracts to a Wasserstein-2 ball around an isotropic Gaussian distribution. Furthermore, the radius of this Wasserstein ball shrinks with the width of the network. 2) In practice, the orthogonality of the representations directly influences the performance of stochastic gradient descent (SGD). When representations are initially aligned, we observe SGD wastes many iterations to orthogonalize representations before the classification. Nevertheless, we experimentally show that starting optimization from orthogonal representations is sufficient to accelerate SGD, with no need for BN.

研究动机与目标

• 理解具有随机权重的批量归一化深度随机网络的表征特性。
• 研究批量归一化如何影响各层隐藏表征的正交性。
• 建立网络深度、宽度与表征偏离正交性的非渐近关系。
• 证明 BN 即使在有限宽度的深层网络中，也能强制实现类似高斯分布的各向同性表征。
• 验证：即使不使用 BN，从正交表征开始也能加速 SGD 训练。

提出的方法

• 引入‘正交性差距’作为衡量隐藏表征偏离完美正交性的指标。
• 分析通过连续 BN 层与随机高斯权重线性层的表征马尔可夫链。
• 在较弱假设下，证明期望正交性差距以 $\mathcal{O}\left((1 - \alpha)^{\text{depth}} + \frac{\text{batch size}}{\alpha \sqrt{\text{width}}}\right)$ 的速率衰减。
• 建立线性层后表征分布收缩至各向同性高斯分布的 Wasserstein-2 球内，且半径随 $\sim \frac{1}{\sqrt{\text{width}}}$ 缩小。
• 提出一种基于特征图 SVD 的权重初始化方法，以在卷积网络中强制实现正交性。
• 通过在全连接网络与卷积网络上使用固定学习率和批量大小的 SGD 进行实验，验证该方法。

实验结果

研究问题

• RQ1 批量归一化如何影响深度随机网络中表征的正交性？
• RQ2 网络深度、宽度与表征偏离正交性之间的非渐近关系为何？
• RQ3 在有限宽度网络中，批量归一化能否强制实现类似各向同性高斯分布的表征？
• RQ4 即使不使用批量归一化，从正交表征开始是否能加速 SGD？
• RQ5 初始表征的正交性在多大程度上影响深层网络的优化动态？

主要发现

• 期望正交性差距随深度以 $\mathcal{O}\left((1 - \alpha)^{\text{depth}} + \frac{\text{batch size}}{\alpha \sqrt{\text{width}}}\right)$ 的速率指数衰减，其中 $\alpha > 0$ 为常数。
• 线性层后表征的分布收敛至各向同性高斯分布的 Wasserstein-2 球内，且半径随 $\sim \frac{1}{\sqrt{\text{width}}}$ 缩小。
• BN 确保即使在有限宽度网络中，深层表征仍保持接近各向同性高斯分布，弥合了与高斯过程近似之间的差距。
• 实验表明，从正交表征初始化可加速 SGD 收敛，尤其在深层网络中，且无需 BN。
• 所提出的基于 SVD 的卷积网络初始化方法显著提升了深层架构（如 80 层网络）的训练速度，优于 Xavier 初始化。
• 理论与实证结果在多种激活函数（包括 ReLU、sigmoid、tanh 及奇函数如 sin 和 tanh）下均成立，正交性行为差异可忽略。