[论文解读] Phase diagram for two-layer ReLU neural networks at infinite-width limit

Tao Luo, Zhi‐Qin John Xu+2 more|arXiv (Cornell University)|Jul 15, 2020

Model Reduction and Neural Networks参考文献 15被引用 15

一句话总结

本文在无限宽极限下为两层ReLU神经网络提出了一个相图，根据输入权重在训练过程中的相对变化，识别出三种不同的动力学行为——线性、临界和凝聚态。其主要贡献在于构建了一个理论与实验相结合的框架，将超参数缩放（通过γ和γ′表示）映射到这些相态，揭示了初始化方式与网络宽度如何影响训练动力学和隐式偏差。

ABSTRACT

How neural network behaves during the training over different choices of hyperparameters is an important question in the study of neural networks. In this work, inspired by the phase diagram in statistical mechanics, we draw the phase diagram for the two-layer ReLU neural network at the infinite-width limit for a complete characterization of its dynamical regimes and their dependence on hyperparameters related to initialization. Through both experimental and theoretical approaches, we identify three regimes in the phase diagram, i.e., linear regime, critical regime and condensed regime, based on the relative change of input weights as the width approaches infinity, which tends to $0$, $O(1)$ and $+\infty$, respectively. In the linear regime, NN training dynamics is approximately linear similar to a random feature model with an exponential loss decay. In the condensed regime, we demonstrate through experiments that active neurons are condensed at several discrete orientations. The critical regime serves as the boundary between above two regimes, which exhibits an intermediate nonlinear behavior with the mean-field model as a typical example. Overall, our phase diagram for the two-layer ReLU NN serves as a map for the future studies and is a first step towards a more systematical investigation of the training behavior and the implicit regularization of NNs of different structures.

研究动机与目标

• 表征在训练过程中，不同超参数下两层ReLU神经网络的动力学行为。
• 基于宽度趋于无穷时输入权重的相对变化，识别出三种不同的训练相——线性、临界和凝聚态。
• 利用初始化方差与网络宽度导出的缩放参数γ和γ′，建立相图。
• 为理解宽网络中的隐式正则化与训练动力学提供理论与实验基础。
• 为未来研究深层网络的训练行为与泛化特性提供基础性参考地图。

提出的方法

• 从初始化方差β₁、β₂和缩放因子α在宽度m → ∞时的渐近行为中推导出两个关键缩放参数γ和γ′。
• 通过适当的重缩放，利用梯度流动力学实现不同网络宽度下的动力学相似性。
• 结合理论分析与数值实验，识别出三种动力学相之间的边界：线性相（w_k的相对变化→0）、临界相（O(1)变化）和凝聚相（相对变化→∞）。
• 应用随机特征模型与平均场理论近似，分别验证线性相与临界相。
• 利用集中不等式与高概率界，建立在特定γ和γ′条件下大参数偏移的可能性。
• 通过1D数据集的实证分析验证相图，并可视化γ与γ′变化下参数偏移趋势。

实验结果

研究问题

• RQ1 超参数缩放（α, β₁, β₂）相对于宽度m的不同取值，如何影响两层ReLU网络的训练动力学？
• RQ2 在无限宽极限下，存在哪些不同的动力学相？它们如何通过输入权重的相对变化来表征？
• RQ3 是否可以构建一个统一的相图，将超参数选择映射到训练行为与隐式偏差？
• RQ4 缩放参数γ和γ′在决定训练动力学为线性、临界或凝聚态方面起什么作用？
• RQ5 初始化方差比与缩放因子如何影响特征空间中参数凝聚的出现？

主要发现

• 相图识别出三种相：线性相（w_k的相对变化→0）、临界相（O(1)变化）和凝聚相（相对变化→∞），其依据是输入权重的渐近行为。
• 临界相作为线性相与凝聚相之间的边界，典型例子包括平均场动力学。
• 在凝聚相中，实验结果证实活跃神经元在特征空间中会凝聚到若干离散方向上。
• 当γ′ < γ − 1时，输入权重的相对偏差满足sup_t RD(θ_w(t)) ≫ 1，表明在特定缩放条件下存在强烈的参数偏移。
• 理论分析表明，在初始化上以高概率成立时，当m足够大且γ′ < γ − 1，w_k的相对变化将超过任意常数，从而确认了凝聚相的存在。
• 相图使用两个独立坐标γ和γ′构建，二者分别源自初始化参数与缩放因子关于宽度m的对数缩放行为。