[논문 리뷰] Transformers without Tears: Improving the Normalization of Self-Attention

Toan Nguyen, Julián Salazar|arXiv (Cornell University)|2019. 10. 14.

Topic Modeling참고 문헌 37인용 수 130

한 줄 요약

이 논문은 Transformer 학습에 정규화 중심의 변경(PreNorm, ScaleNorm, FixNorm)을 도입하여 자원 부족 NMT의 성능을 개선하고 자원이 풍부한 경우에도 경쟁력을 유지하며, 더 빠른 학습과 더 매끄러운 기울기 동작을 보임.

ABSTRACT

We evaluate three simple, normalization-centric changes to improve Transformer training. First, we show that pre-norm residual connections (PreNorm) and smaller initializations enable warmup-free, validation-based training with large learning rates. Second, we propose $\ell_2$ normalization with a single scale parameter (ScaleNorm) for faster training and better performance. Finally, we reaffirm the effectiveness of normalizing word embeddings to a fixed length (FixNorm). On five low-resource translation pairs from TED Talks-based corpora, these changes always converge, giving an average +1.1 BLEU over state-of-the-art bilingual baselines and a new 32.8 BLEU on IWSLT'15 English-Vietnamese. We observe sharper performance curves, more consistent gradient norms, and a linear relationship between activation scaling and decoder depth. Surprisingly, in the high-resource setting (WMT'14 English-German), ScaleNorm and FixNorm remain competitive but PreNorm degrades performance.

연구 동기 및 목표

• 정규화 배치와 유형이 자원 부족 NMT에서 Transformer 수렴 및 성능에 어떤 영향을 미치는지 조사한다.
• LayerNorm을 ScaleNorm으로 교체하면 학습 속도와 정확도가 향상되는지 평가한다.
• FixNorm으로 단어 임베딩의 노름을 고정하고 ScaleNorm으로 임베딩을 스케일링하는 것이 번역 품질에 미치는 영향을 평가한다.
• 이러한 변화가 다양한 자원 수준의 다수의 언어쌍에서 이득이 있는지 시연한다.

제안 방법

• 다중 자원 부족 NMT 작업에서 PostNorm와 PreNorm 잔차 구성을 비교한다.
• LayerNorm을 ScaleNorm으로 교체하고 FixNorm을 도입하여 학습 역학과 성능을 연구한다.
• 점진적 학습률 스케줄(워밍업 없는 학습 및 검증 기반 감소)을 포함한 실험으로 안정성을 평가한다.
• 전처리 및 학습 스크립트를 공유하고 TED/IWSLT 기반 말뭉치에서 BLEU 점수를 평가한다.

실험 결과

연구 질문

• RQ1 PreNorm가 PostNorm에 비해 자원 부족 Transformer NMT에서 학습 안정성 및 성능을 향상시키는가?
• RQ2 ScaleNorm과 FixNorm가 자원 부족 언어쌍에서 더 빠른 학습과 더 높은 BLEU를 제공하는가?
• RQ3 ScaleNorm과 FixNorm가 WMT14 영어-독일어와 같은 자원 풍부한 설정에서도 경쟁력 있는 성능을 유지하는가?
• RQ4 제안된 정규화 변화가 디코더 깊이에 따른 그래디언트 노름 및 활성화 스케일링에 어떤 영향을 미치는가?

주요 결과

gl→en	sk→en	en→vi	en→he	ar→en	average Δ
16.2	24.0	29.09	23.66	27.84	-4.05
18.47	29.37	31.94	27.85	33.39	0.00
19.09	29.45	31.92	28.13	33.79	0.27
19.38	30.25	32.45	28.39	34.35	1.10

• PreNorm은 자원 부족 환경에서 대형 학습률로 워밍업 없는 학습을 가능하게 하여 안정성과 성능을 향상시킨다.
• ScaleNorm은 계산 비용을 줄이고 여러 자원 부족 쌍에서 BLEU를 개선하는 데 기여할 수 있으며 종종 LayerNorm을 능가한다.
• FixNorm은 ScaleNorm과 결합될 때 특히 추가 개선에 기여한다.
• 최종 조합인 PreNorm + FixNorm + ScaleNorm은 다섯 개 자원 부족 쌍에서 평균 +1.1 BLEU의 이점을 얻으며, IWSLT '15 영어-베트남어에서 32.8 BLEU라는 뚜렷한 이득이 나타난다.
• ScaleNorm과 FixNorm은 WMT14 영어-독일어의 자원 풍부한 설정에서 종종 LayerNorm 성능과 동등하거나 우수하며 ScaleNorm은 속도 향상을 제공한다.
• PreNorm은 학습 중 그래디언트 안정성(노름의 부드러움)이 PostNorm에 비해 향상된다고 보인다.