[论文解读] Dynamics of Finite Width Kernel and Prediction Fluctuations in Mean Field Neural Networks

Blake Bordelon, Cengiz Pehlevan|arXiv (Cornell University)|Apr 6, 2023

Neural Networks and Applications被引用 6

一句话总结

该论文提出了一种动力学平均场理论（DMFT）框架，用于表征宽但有限宽度的特征学习神经网络中的有限宽度波动，表明核函数与预测方差均以 $\mathcal{O}(1/\sqrt{\text{宽度}})$ 的速率缩放，并且在训练过程中动态耦合。在丰富、非线性的区域，特征学习可降低预测方差并提高信噪比，而初始化方差可能减缓在线学习速度，理论预测已在CIFAR-10上的卷积神经网络上得到验证。

ABSTRACT

We analyze the dynamics of finite width effects in wide but finite feature learning neural networks. Starting from a dynamical mean field theory description of infinite width deep neural network kernel and prediction dynamics, we provide a characterization of the $O(1/\sqrt{ ext{width}})$ fluctuations of the DMFT order parameters over random initializations of the network weights. Our results, while perturbative in width, unlike prior analyses, are non-perturbative in the strength of feature learning. In the lazy limit of network training, all kernels are random but static in time and the prediction variance has a universal form. However, in the rich, feature learning regime, the fluctuations of the kernels and predictions are dynamically coupled with a variance that can be computed self-consistently. In two layer networks, we show how feature learning can dynamically reduce the variance of the final tangent kernel and final network predictions. We also show how initialization variance can slow down online learning in wide but finite networks. In deeper networks, kernel variance can dramatically accumulate through subsequent layers at large feature learning strengths, but feature learning continues to improve the signal-to-noise ratio of the feature kernels. In discrete time, we demonstrate that large learning rate phenomena such as edge of stability effects can be well captured by infinite width dynamics and that initialization variance can decrease dynamically. For CNNs trained on CIFAR-10, we empirically find significant corrections to both the bias and variance of network dynamics due to finite width.

研究动机与目标

• 理解在特征学习发生时，宽神经网络中超越懒惰或NTK区域的有限宽度修正。
• 表征DMFT序参量（如核函数与预测方差）的 $\mathcal{O}(1/\sqrt{\text{宽度}})$ 波动，这些波动源于随机权重初始化。
• 表明更丰富的特征学习动力学可降低有限宽度网络中的方差并提高信噪比，从而抵消有害的有限尺寸效应。
• 将无限宽度动力学扩展至捕捉大学习率现象（如稳定性边缘），包括初始化方差的动态变化。
• 在CIFAR-10上训练的卷积神经网络上实证验证理论预测，显示有限宽度对训练动力学中偏差与方差的修正。

提出的方法

• 基于动力学平均场理论（DMFT）推导出一种微扰框架，用于计算宽但有限宽度网络中训练期间核函数与预测动力学的波动。
• 求解两层网络与深层线性网络中懒惰极限（无特征学习）和丰富、非线性特征学习区域的DMFT方程。
• 引入一种自洽形式化方法，用于计算正切核与网络预测的方差，同时考虑核函数波动与特征学习之间的动态耦合。
• 将该框架应用于离散时间训练动力学，从而分析大学习率效应（如稳定性边缘现象）。
• 通过变量变换解耦 $v_+(t)$ 与 $v_-(t)$ 的动力学，实现对核函数方差 $\kappa(t,s)$ 与对初始化的敏感度 $D(t,s)$ 的解析计算。
• 通过在CIFAR-10上训练的残差网络结构卷积神经网络上的实验验证预测，比较宽度与训练深度对logit方差与训练动力学的影响。

Figure 1: The directed causal graph between DMFT order parameters (blue) and fields (green) defines the $D$ tensors of our theory. Each arrow represents a causal dependence. $K$ denotes the NTK.

实验结果

研究问题

• RQ1 在宽但有限宽度的特征学习神经网络中，核函数与预测方差的 $\mathcal{O}(1/\sqrt{\text{宽度}})$ 波动在训练过程中如何演化？
• RQ2 在有限宽度网络中，特征学习在多大程度上降低了最终正切核与网络预测的方差？
• RQ3 初始化方差在宽但有限网络中如何影响在线学习速度？这一效应能否被无限宽度动力学捕捉？
• RQ4 无限宽度DMFT动力学能否准确预测大学习率下有限尺寸效应（如稳定性边缘行为）？
• RQ5 在真实CNN（如在CIFAR-10上训练的网络）中，有限宽度对训练动力学中偏差与方差的实证修正效应是什么？

主要发现

• 在懒惰极限下，预测方差遵循一个简单的微分方程，具有普遍的 $\mathcal{O}(1/\sqrt{\text{宽度}})$ 缩放。
• 在两层网络中，特征学习动态地降低了最终正切核与网络预测的方差，使其更接近无限宽度行为。
• 较大的初始化方差会减缓宽但有限网络中的在线学习速度，表明存在有害的有限尺寸效应。
• 在更深的网络中，核函数方差在强特征学习强度下通过各层累积，但特征核的信噪比仍得到改善。
• 如稳定性边缘等大学习率效应可被无限宽度DMFT良好捕捉，有限尺寸方差亦可被理论准确预测。
• 在CIFAR-10卷积神经网络上的实证结果证实，更宽且更丰富的网络表现出更低的logit方差，但即使在模型集成后，有限宽度仍会改变训练动力学，这是由于对平均动力学NTK的有害修正。

(a) Deviation from DMFT vs $N$