[论文解读] DeepNet: Scaling Transformers to 1,000 Layers

Hongyu Wang, Shuming Ma+4 more|arXiv (Cornell University)|Mar 1, 2022

Neural Networks and Reservoir Computing被引用 54

一句话总结

DEEPNET 引入 DEEPNORM，一种在残差连接处进行初始化以限定模型更新的归一化方法，使 Transformer 的深度达到 1,000 层，并实现强大的多语种机器翻译性能。

ABSTRACT

In this paper, we propose a simple yet effective method to stabilize extremely deep Transformers. Specifically, we introduce a new normalization function (DeepNorm) to modify the residual connection in Transformer, accompanying with theoretically derived initialization. In-depth theoretical analysis shows that model updates can be bounded in a stable way. The proposed method combines the best of two worlds, i.e., good performance of Post-LN and stable training of Pre-LN, making DeepNorm a preferred alternative. We successfully scale Transformers up to 1,000 layers (i.e., 2,500 attention and feed-forward network sublayers) without difficulty, which is one order of magnitude deeper than previous deep Transformers. Remarkably, on a multilingual benchmark with 7,482 translation directions, our 200-layer model with 3.2B parameters significantly outperforms the 48-layer state-of-the-art model with 12B parameters by 5 BLEU points, which indicates a promising scaling direction.

研究动机与目标

• 推动并解决在极端深度（高达 1,000 层）扩展 Transformer 时的训练不稳定性。
• 提出一种简单的归一化和初始化方案（DEEPNORM），以限定模型更新并稳定优化。
• 在包括多语言设置在内的机器翻译基准中展示稳定性和性能提升。
• 为编码器-仅、解码器-仅和编码器-解码器模型提供实用的初始化和结构指引。

提出的方法

• 在残差连接处定义并应用一种新的归一化：xl+1 = LN(α xl + Gl(xl, θl))。
• 在残差分支内的子层权重按架构相关系数 β 进行缩放。
• 推导初始化方案以界定 ||ΔF||，确保在 SGD/Adam 下更新仍为 O(η)。
• 理论上给出 N 层 DEEPNET 及编码器-解码器变体的更新上界（定理 4.2 与 4.3）。
• 在 WMT En–De、IWSLT De–En 以及大规模多语言 OPUS-100 与 Flores 数据集上进行实证验证。
• 为编码器-仅、解码器-仅和编码器-解码器体系结构提供具体的实用初始化值与缩放规则。

实验结果

研究问题

• RQ1 当深度扩展到 1,000 层时，Transformer 能否稳定训练？
• RQ2 DEEPNORM 在稳定训练的同时，是否相较于 Post-LN 与 Pre-LN 基线保持或提升性能？
• RQ3 初始化和残差缩放如何影响极深 Transformers 的模型更新幅度和梯度流？
• RQ4 在深度结合 DEEPNORM 时，双语与多语设置的机器翻译性能有何实际提升？

主要发现

• DEEPNET 配合 DEEPNORM 能稳定训练至 1,000 层（2,500 个子层），而以往方法在此深度上会发散。
• 在 WMT-17 En–De 上，200 层的 DEEPNET 达到 28.9 BLEU，相较于 48 层、12B 参数的基线，展示了在深度方面的高效性。
• 在多语种机器翻译中，200 层（3.2B 参数）的 DEEPNET 相较于 48 层、12B 基线在 OPUS-100 的平均 BLEU 提升了 4.4 点（覆盖 WMT/OPUS/TED/Flores）。
• DEEPNET 可扩展到 1,000 层，具有 3.8B 参数，在多语言评估中达到 WMT 33.9、OPUS 30.2、Flores 18.6 的 BLEU 分数，超越 M2M-100（12B、48 层）。
• 理论分析表明，DEEPNORM 将模型更新界于一个常数，缓解深度 Transformer 的更新爆炸和梯度问题。