[论文解读] Parameter Norm Growth During Training of Transformers.

William Merrill, Vivek Ramanujan+3 more|arXiv (Cornell University)|Oct 19, 2020

Topic Modeling参考文献 20被引用 5

一句话总结

本文研究了梯度下降（GD）如何在训练过程中导致Transformer参数的L2范数增长，表明更高的训练准确率可实现更大的范数增长。研究揭示，这种范数增长会导致网络饱和，降低模型容量，并揭示了GD中一种此前未被认识的归纳偏置，尤其对T5等NLP模型具有重要意义。

ABSTRACT

The capacity of neural networks like the widely adopted transformer is known to be very high. Evidence is emerging that they learn successfully due to inductive bias in the training routine, typically some variant of gradient descent (GD). To better understand this bias, we study the tendency of transformer parameters to grow in magnitude during training. We find, both theoretically and empirically, that, in certain contexts, GD increases the parameter $L_2$ norm up to a threshold that itself increases with training-set accuracy. This means increasing training accuracy over time enables the norm to increase. Empirically, we show that the norm grows continuously over pretraining for T5 (Raffel et al., 2019). We show that pretrained T5 approximates a semi-discretized network with activation functions. Such saturated networks are known to have a reduced capacity compared to the original network family that can be described in automata-theoretic terms. This suggests saturation is a new characterization of an inductive bias implicit in GD that is of particular interest for NLP. While our experiments focus on transformers, our theoretical analysis extends to other architectures with similar formal properties, such as feedforward ReLU networks.

研究动机与目标

• 理解梯度下降在Transformer训练中引入的归纳偏置，特别是通过参数范数动态实现的方式。
• 研究尽管模型容量高，Transformer为何仍能良好泛化，重点关注训练动态如何塑造模型行为。
• 解释训练准确率提升与自注意力层及前馈层中参数范数增长之间的关联。
• 通过将范数增长与激活函数饱和性关联，表征其对模型容量的影响。
• 将理论见解扩展至具有类似形式特性的其他架构，如ReLU前馈网络。

提出的方法

• 对梯度下降动态进行理论分析，推导出Transformer参数L2范数在训练期间增长的条件。
• 在T5的预训练过程中，对各层的L2范数增长进行经验测量，追踪训练步数和准确率水平下的变化。
• 将预训练的T5建模为具有分段常数激活函数的半离散化网络，以研究饱和效应。
• 使用自动机理论形式化方法，比较饱和网络与原始连续网络族的容量。
• 分析训练准确率与范数增长阈值之间的关系，表明更高的准确率允许更大的范数值。
• 将理论发现扩展至前馈ReLU网络，以证明其在Transformer之外的更广泛应用性。

实验结果

研究问题

• RQ1 梯度下降在训练过程中如何影响Transformer参数的L2范数？
• RQ2 训练准确率与优化过程中可达到的最大参数范数之间存在何种关系？
• RQ3 参数范数增长在多大程度上导致网络饱和并降低模型容量？
• RQ4 预训练Transformer的行为能否被建模为具有饱和激活的半离散化网络？
• RQ5 这种范数增长现象是否可推广至其他具有类似结构特性的架构，如ReLU前馈网络？

主要发现

• 在T5的预训练过程中，Transformer参数的L2范数持续增长，其增长速率和程度与训练准确率相关。
• 更高的训练准确率允许参数范数增长至更高的阈值，表明更好的泛化能力使模型能够容纳更大的范数值。
• 预训练的T5表现出类似具有分段常数激活函数的半离散化网络的特性，表明其因范数增长而出现饱和。
• 与原始连续网络相比，饱和网络的容量更低，表明范数增长会引入结构化的归纳偏置。
• 理论分析表明，这种范数增长和饱和效应不仅存在于Transformer中，也适用于具有类似形式特性的前馈ReLU网络。
• 研究结果表明，梯度下降隐式地使模型偏向于饱和的、低容量的表示形式，这或许能解释为何在高容量模型中仍能实现良好泛化。