[論文レビュー] Transformers without Tears: Improving the Normalization of Self-Attention

Toan Nguyen, Julián Salazar|arXiv (Cornell University)|Oct 14, 2019

Topic Modeling参考文献 37被引用数 130

ひとこと要約

この論文は、Transformer の訓練における正規化中心の変更（PreNorm、ScaleNorm、FixNorm）を導入し、低リソースの NMT の性能を改善し、高リソース設定でも競争力のある結果を示し、訓練の高速化と勾配挙動の滑らかさを実現する。

ABSTRACT

We evaluate three simple, normalization-centric changes to improve Transformer training. First, we show that pre-norm residual connections (PreNorm) and smaller initializations enable warmup-free, validation-based training with large learning rates. Second, we propose $\ell_2$ normalization with a single scale parameter (ScaleNorm) for faster training and better performance. Finally, we reaffirm the effectiveness of normalizing word embeddings to a fixed length (FixNorm). On five low-resource translation pairs from TED Talks-based corpora, these changes always converge, giving an average +1.1 BLEU over state-of-the-art bilingual baselines and a new 32.8 BLEU on IWSLT'15 English-Vietnamese. We observe sharper performance curves, more consistent gradient norms, and a linear relationship between activation scaling and decoder depth. Surprisingly, in the high-resource setting (WMT'14 English-German), ScaleNorm and FixNorm remain competitive but PreNorm degrades performance.

研究の動機と目的

• 正規化の配置と種類が低リソースの NMT における Transformer の収束と性能にどのように影響するかを調査する。
• LayerNorm を ScaleNorm に置換することで訓練速度と精度が改善されるかを評価する。
• 語嵌入のノルムを固定する FixNorm と埋め込みのスケーリングを行う ScaleNorm が翻訳品質に及ぼす影響を評価する。
• 提案された変更が、リソースレベルの異なる複数の言語ペアで利得を生み出すかどうかを示す。

提案手法

• PostNorm と PreNorm の残差構成を複数の低リソース NMT タスクで比較する。
• LayerNorm を ScaleNorm に置換し FixNorm を組み込んで訓練ダイナミクスと性能を調べる。
• ウォームアップ不要の訓練や検証に基づく減衰を含む学習率スケジュールを試し、安定性を評価する。
• 前処理と訓練スクリプトを共有し、TED/IWSLT ベースのコーパスで BLEU スコアを評価する。

実験結果

リサーチクエスチョン

• RQ1 PreNorm は PostNorm と比較して低リソースの Transformer NMT における訓練の安定性と性能を改善するか。
• RQ2 ScaleNorm と FixNorm は低リソース言語ペアで訓練を高速化し BLEU を高めるか。
• RQ3 ScaleNorm を FixNorm と組み合わせると高リソース環境（例：WMT14 English-German）でも競争力のある性能を維持できるか。
• RQ4 提案された正規化の変更はデコーダ深さ全体の勾配ノルムと活性化のスケーリングにどのような影響を与えるか。

主な発見

gl→en	sk→en	en→vi	en→he	ar→en	average Δ
16.2	24.0	29.09	23.66	27.84	-4.05
18.47	29.37	31.94	27.85	33.39	0.00
19.09	29.45	31.92	28.13	33.79	0.27
19.38	30.25	32.45	28.39	34.35	1.10

• PreNorm は低リソース環境での暖機なし訓練を可能にし、学習率が大きくても安定性と性能を向上させる。
• ScaleNorm は計算コストを削減し、いくつかの低リソース・ペアで BLEU を改善できることがあり、しばしば LayerNorm よりも優れる。
• FixNorm は ScaleNorm と組み合わせると特に追加の改善を一貫してもたらす。
• 最終的な組み合わせ PreNorm + FixNorm + ScaleNorm は、5つの低リソースペアで平均 +1.1 BLEU の利得を生み出し、IWSLT '15 English-Vietnamese で 32.8 BLEU へ顕著な向上を示す。
• ScaleNorm と FixNorm は高リソースの WMT14 English-German でしばしば LayerNorm の性能と同等かそれを上回り、ScaleNorm は速度向上を提供する。
• PreNorm は訓練中の勾配安定性（ノルムの滑らかさ）が PostNorm より改善される。