[论文解读] Criticality versus uniformity in deep neural networks

Aleksandar Bukva, Jurriaan de Gier+4 more|arXiv (Cornell University)|Apr 10, 2023

Neural Networks and Applications被引用 5

一句话总结

本文研究了深度神经网络中临界性与激活函数饱和之间的相互作用，表明尽管在混沌边缘进行初始化可实现最佳可训练性，但过高的权重方差会导致 tanh 激活函数饱和，从而降低性能。作者在参数空间中识别出一条‘均匀性线’，该线上的后激活分布熵最大，且与混沌边缘相交，标志着训练效率因饱和效应而下降的边界。

ABSTRACT

Deep feedforward networks initialized along the edge of chaos exhibit exponentially superior training ability as quantified by maximum trainable depth. In this work, we explore the effect of saturation of the tanh activation function along the edge of chaos. In particular, we determine the line of uniformity in phase space along which the post-activation distribution has maximum entropy. This line intersects the edge of chaos, and indicates the regime beyond which saturation of the activation function begins to impede training efficiency. Our results suggest that initialization along the edge of chaos is a necessary but not sufficient condition for optimal trainability.

研究动机与目标

• 理解为何在混沌边缘初始化可使深层网络实现优越训练性能，尽管训练过程中参数会动态演化。
• 研究激活函数饱和（尤其是 tanh 函数）如何在临界点之后阻碍可训练性。
• 识别出后激活分布熵最大的参数区域，定义为‘均匀性线’，作为最优训练的边界。
• 确定临界性本身是否足以保证最优性能，或是否还需对激活动力学施加额外约束。

提出的方法

• 作者分析了使用 tanh 激活函数的深层前馈网络，通过权重方差 $\sigma_w^2$ 和偏置方差 $\sigma_b^2$ 参数化，采用二维相空间。
• 通过最大化后激活分布的熵，推导出‘均匀性线’，识别出隐藏单元中信息含量最大的区域。
• 利用中心极限定理与矩分析，计算相关长度及临界条件 $\chi = 1$，该条件定义了混沌边缘。
• 分析 $\tilde{\chi} = \frac{2\sigma_w^2}{3\sigma_*^2} \int dz\, p(z;\sigma_*^2)\, z\, \phi(z)^3$ 的行为，将其与相关长度发散及临界性联系起来。
• 通过在 MNIST 和 CIFAR-10 上的训练验证结果，测量不同参数区域下的准确率与泛化性能。
• 将分析扩展至 SWISH 激活函数，表明其表现出类似临界行为，但因偏置方差过高而计算范围受限。

实验结果

研究问题

• RQ1 仅在混沌边缘初始化是否足以确保最优可训练性，还是需要额外约束？
• RQ2 激活函数饱和在临界点之后如何降低训练效率？
• RQ3 能否在权重与偏置方差空间中定义一条‘均匀性线’，使得后激活分布熵最大？
• RQ4 对于非饱和激活函数（如 SWISH），混沌边缘如何变化？
• RQ5 混沌边缘是否足以保证高性能，还是在极端参数设置下会失效？

主要发现

• 混沌边缘并非最优可训练性的充分条件；当权重方差过高时，激活函数饱和会降低性能。
• 均匀性线（后激活分布熵最大的区域）与混沌边缘相交，标志着训练效率开始下降的边界。
• 在点 $(\sigma_w^2, \sigma_b^2) = (1, 0)$ 处，混沌边缘的斜率为零，表明该点为相变过程中导数为零的临界点。
• 对于 tanh 激活函数，当 $\sigma_w^2$ 和 $\sigma_b^2$ 较大时，后激活值会集中于 $\pm1$，导致信息含量降低。
• 对于 SWISH 激活函数，混沌边缘存在，但计算范围受限于 $\sigma_w^2 \in [1.97, 3.4]$，且在此范围内未观察到性能下降。
• 研究证实，处于临界状态训练的网络即使在深度 $L \sim 270$ 时仍保持高准确率，但最终仍因饱和效应而性能下降。