[논문 리뷰] PowerNorm: Rethinking Batch Normalization in Transformers

Sheng Shen, Zhewei Yao외 3명|arXiv (Cornell University)|2020. 03. 17.

Advanced Neural Network Applications참고 문헌 47인용 수 16

한 줄 요약

이 논문은 트랜스포머 모델에 대한 새로운 정규화 기법인 파wr노름(PowerNorm, PN)을 제안한다. 이는 자연어처리(NLP)에서 배치 정규화(BN)의 불안정성을 해결하기 위해 평균이 0이 되는 조건을 완화하고, 러닝 제곱평균을 사용하여 배치 통계를 안정화시키는 방식이다. PN은 표준 레이어 정규화(LN)와 순수한 BN보다도 뛰어난 성능을 보이며, 하이퍼파ram터 조정 없이도 IWSLT14/WMT14에서 각각 0.4/0.6 BLEU 향상, PTB/WikiText-103에서 각각 5.6/3.0 PPL 향상을 달성한다.

ABSTRACT

The standard normalization method for neural network (NN) models used in Natural Language Processing (NLP) is layer normalization (LN). This is different than batch normalization (BN), which is widely-adopted in Computer Vision. The preferred use of LN in NLP is principally due to the empirical observation that a (naive/vanilla) use of BN leads to significant performance degradation for NLP tasks; however, a thorough understanding of the underlying reasons for this is not always evident. In this paper, we perform a systematic study of NLP transformer models to understand why BN has a poor performance, as compared to LN. We find that the statistics of NLP data across the batch dimension exhibit large fluctuations throughout training. This results in instability, if BN is naively implemented. To address this, we propose Power Normalization (PN), a novel normalization scheme that resolves this issue by (i) relaxing zero-mean normalization in BN, (ii) incorporating a running quadratic mean instead of per batch statistics to stabilize fluctuations, and (iii) using an approximate backpropagation for incorporating the running statistics in the forward pass. We show theoretically, under mild assumptions, that PN leads to a smaller Lipschitz constant for the loss, compared with BN. Furthermore, we prove that the approximate backpropagation scheme leads to bounded gradients. We extensively test PN for transformers on a range of NLP tasks, and we show that it significantly outperforms both LN and BN. In particular, PN outperforms LN by 0.4/0.6 BLEU on IWSLT14/WMT14 and 5.6/3.0 PPL on PTB/WikiText-103. We make our code publicly available at \url{https://github.com/sIncerass/powernorm}.

연구 동기 및 목표

• 표준 배치 정규화(BN)가 컴퓨터비전(CV)에서는 성공했지만 NLP에서는 왜 실패하는지 조사하기.
• BN의 NLP에서의 열악한 성능의 근본 원인, 특히 배치 통계의 높은 분산으로 인한 불안정성 원인 규명하기.
• BN의 장점을 유지하면서도 NLP 작업에서의 불안정성을 극복할 수 있는 정규화 방법 개발하기.
• 하이퍼파ram터 조정 없이도 PowerNorm(PN)이 다양한 NLP 벤치마크에서 BN과 레이어 정규화(LN)를 모두 능가하는 성능을 보임을 입증하기.

제안 방법

• 영향력 있는 BN의 변형으로서, 평균이 0이 되는 조건을 완화하고 분산 대신 러닝 제곱평균을 사용하여 통계를 안정화시키는 PowerNorm(PN)을 제안한다.
• 영향력 있는 BN의 변형으로서, 평균이 0이 되는 조건을 완화하고 분산 대신 러닝 제곱평균을 사용하여 통계를 안정화시키는 PowerNorm(PN)을 제안한다.
• 영향력 있는 BN의 변형으로서, 평균이 0이 되는 조건을 완화하고 분산 대신 러닝 제곱평균을 사용하여 통계를 안정화시키는 PowerNorm(PN)을 제안한다.
• 이론적 분석을 통해 PN이 손실 함수에 대해 더 작은 리프시츠 상수를 유도하고, 약한 가정 하에 유한한 기울기를 보장함을 보였다.
• 기계 번역(IWSLT14, WMT14)과 언어 모델링(PTB, WikiText-103)에서 PN을 경험적으로 평가하여 일관된 성능 향상을 입증하였다.
• 표현력 분석을 위해 임bedding 레이어의 특이값 분해(SVD)를 사용하여 PN이 더 잘 조절된 임베딩을 유도함을 보였다.

실험 결과

연구 질문

• RQ1 표준 배치 정규화(BN)가 컴퓨터비전(CV)에서는 성공했지만 NLP 모델에서는 왜 실패하는가?
• RQ2 BN의 NLP에서의 불안정성은 무엇이 원인인가, 특히 배치 통계의 분산 측면에서?
• RQ3 NLP에서 학습을 안정화시키면서도 BN의 장점을 유지할 수 있는 수정된 BN 버전을 설계할 수 있는가?
• RQ4 PowerNorm은 다양한 배치 크기에서 레이어 정규화(LN)와 순수한 BN에 비해 성능와 내구성 측면에서 어떻게 비교되는가?
• RQ5 Singular value 분포 측정을 통해 PowerNorm은 학습된 임베딩의 표현력 향상에 기여하는가?

주요 결과

• NLP 데이터에서의 배치 통계는 CV 데이터에 비해 훨씬 높은 분산을 보이며, 이는 순수한 BN의 불안정성 원인이 된다.
• PowerNorm(PN)은 IWSLT14/WMT14에서 각각 0.4/0.6 BLEU 향상, PTB/WikiText-103에서 각각 5.6/3.0 PPL 향상으로 레이어 정규화(LN)를 초월하며, 하이퍼파ram터 조정 없이도 성능 향상을 달성한다.
• 영향력 있는 BN의 변형으로서, 평균이 0이 되는 조건을 완화하고 분산 대신 러닝 제곱평균을 사용하여 통계를 안정화시키는 PowerNorm(PN)을 제안한다.
• 순수한 BN은 PTB/WikiText-103에서 각각 7.5/6.3 PPL 성능 저하를 보였지만, PN은 사전 훈련 없이도 최고 성능을 달성한다.
• 특이값 분석 결과, PN은 임베딩 레이어에서 더 천천히 감소하는 특이값을 유도함으로써 더 뛰어난 표현력을 가짐을 보였다.
• PN의 근사 역전파 기법은 이론적으로 유한한 기울기를 보장하며, 안정적인 학습을 위한 필수 조건을 충족한다.