[論文レビュー] DeepNet: Scaling Transformers to 1,000 Layers

Hongyu Wang, Shuming Ma+4 more|arXiv (Cornell University)|Mar 1, 2022

Neural Networks and Reservoir Computing被引用数 54

ひとこと要約

DEEPNET は DEEPNORM を導入し、初期化によってモデル更新を制限する残差接続の正規化手法を提案します。これにより Transformer の深さは最大 1,000 層まで拡張でき、強力な多言語機械翻訳性能を実現します。

ABSTRACT

In this paper, we propose a simple yet effective method to stabilize extremely deep Transformers. Specifically, we introduce a new normalization function (DeepNorm) to modify the residual connection in Transformer, accompanying with theoretically derived initialization. In-depth theoretical analysis shows that model updates can be bounded in a stable way. The proposed method combines the best of two worlds, i.e., good performance of Post-LN and stable training of Pre-LN, making DeepNorm a preferred alternative. We successfully scale Transformers up to 1,000 layers (i.e., 2,500 attention and feed-forward network sublayers) without difficulty, which is one order of magnitude deeper than previous deep Transformers. Remarkably, on a multilingual benchmark with 7,482 translation directions, our 200-layer model with 3.2B parameters significantly outperforms the 48-layer state-of-the-art model with 12B parameters by 5 BLEU points, which indicates a promising scaling direction.

研究の動機と目的

• Transformer を極端な深さ（最大 1,000 層）へスケーリングする際の訓練の不安定性を動機づけて解決する。
• モデル更新を制限し最適化を安定化させる、シンプルな正規化と初期化手法（DEEPNORM）を提案する。
• 機械翻訳ベンチマーク全体で安定性と性能向上を示し、マルチリンガル設定も含む。
• エンコーダーのみ、デコーダーのみ、エンコーダ-デコーダーモデルの実践的な初期化とアーキテクチャの指針を提供する。

提案手法

• 残差接続に新しい正規化を定義・適用する： xl+1 = LN(α xl + Gl(xl, θl)).
• 残差分岐内のサブレイヤの重みをアーキテクチャ依存の因子 β でスケーリングする。
• ||ΔF|| を境界付ける初期化スキームを導出し、SGD/Adam の下で更新が O(η) のままになるようにする。
• N 層の DEEPNET およびエンコーダ-デコーダ変種のモデル更新を理論的に境界付ける（定理 4.2 と 4.3）。
• 実測で WMT En–De、IWSLT De–En、巨大な多言語データセット OPUS-100 および Flores で検証する。
• エンコーダーのみ、デコーダーのみ、エンコーダ-デコーダーアーキテクチャ向けの具体的な実践的初期化値とスケーリング規則を提供する。

実験結果

リサーチクエスチョン

• RQ1 Can Transformers be trained stably when scaled to 1,000 layers?
• RQ2 Does DEEPNORM stabilize training while preserving or improving performance compared with Post-LN and Pre-LN baselines?
• RQ3 How do initialization and residual scaling affect the magnitude of model updates and gradient flow in extremely deep Transformers?
• RQ4 What are the practical gains in machine translation performance for both bilingual and multilingual settings when depth is increased with DEEPNORM?

主な発見

• DEEPNET with DEEPNORM achieves stable training up to 1,000 layers (2,500 sublayers) where previous methods diverged.
• On WMT-17 En–De, 200-layer DEEPNET reaches 28.9 BLEU compared with a 48-layer 12B-param baseline, demonstrating strong efficiency in depth.
• In multilingual MT, DEEPNET with 200 layers (3.2B params) outperforms a 48-layer 12B baseline by 4.4 BLEU on OPUS-100 averages (WMT/OPUS/TED/Flores).
• DEEPNET scales to 1,000 layers with 3.8B parameters and achieves BLEU scores of 33.9 (WMT), 30.2 (OPUS) and 18.6 (Flores) in multilingual evaluation, surpassing M2M-100 (12B, 48 layers).
• Theoretical analysis shows DEEPNORM bounds model updates by a constant, mitigating exploding updates and gradient issues in deep Transformers.