[논문 리뷰] ResiDual: Transformer with Dual Residual Connections

Shufang Xie, Huishuai Zhang외 7명|arXiv (Cornell University)|2023. 04. 28.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 기울기 흐려짐과 표현 붕괴 문제를 해결하기 위해 사전-레이어 정규화(Pre-LN)와 사후-레이어 정규화(Post-LN)를 결합한 이중 잔차 연결을 갖춘 새로운 트랜스포머 아키텍처인 ResiDual을 제안한다. 양쪽 잔차 경로를 융합함으로써 ResiDual은 향상된 학습 안정성과 모델 용량을 달성하여 기계 번역 벤치마크에서 Post-LN 및 Pre-LN 변종보다 우수한 성능을 보이며, 깊은 모델에서 최대 1.1 BLEU 포인트의 성능 향상을 기록한다.

ABSTRACT

Transformer networks have become the preferred architecture for many tasks due to their state-of-the-art performance. However, the optimal way to implement residual connections in Transformer, which are essential for effective training, is still debated. Two widely used variants are the Post-Layer-Normalization (Post-LN) and Pre-Layer-Normalization (Pre-LN) Transformers, which apply layer normalization after each residual block's output or before each residual block's input, respectively. While both variants enjoy their advantages, they also suffer from severe limitations: Post-LN causes gradient vanishing issue that hinders training deep Transformers, and Pre-LN causes representation collapse issue that limits model capacity. In this paper, we propose ResiDual, a novel Transformer architecture with Pre-Post-LN (PPLN), which fuses the connections in Post-LN and Pre-LN together and inherits their advantages while avoids their limitations. We conduct both theoretical analyses and empirical experiments to verify the effectiveness of ResiDual. Theoretically, we prove that ResiDual has a lower bound on the gradient to avoid the vanishing issue due to the residual connection from Pre-LN. Moreover, ResiDual also has diverse model representations to avoid the collapse issue due to the residual connection from Post-LN. Empirically, ResiDual outperforms both Post-LN and Pre-LN on several machine translation benchmarks across different network depths and data sizes. Thanks to the good theoretical and empirical performance, ResiDual Transformer can serve as a foundation architecture for different AI models (e.g., large language models). Our code is available at https://github.com/microsoft/ResiDual.

연구 동기 및 목표

• 기존 트랜스포머의 잔차 연결 변종이 겪는 한계, 특히 Post-LN에서의 기울기 흐려짐과 Pre-LN에서의 표현 붕괴 문제를 해결하기 위해.
• Post-LN과 Pre-LN의 장점을 모두 취하면서도 각각의 단점을 피하는 통합된 트랜스포머 아키텍처를 설계하기 위해.
• 학습률 워밍업에 의존하지 않고도 깊은 트랜스포머 모델의 안정적이고 효과적인 학습을 가능하게 하기 위해.
• 구조적 혁신을 통해 깊은 네트워크에서 모델 용량과 표현 다양성을 향상시키기 위해.

제안 방법

• Pre-LN에 영감을 받은 기울기 안정성을 향상시키는 잔차 연결과 Post-LN에 영감을 받은 표현 다양성 유지 기능을 갖춘 두 개의 잔차 연결을 통합한 새로운 아키텍처인 ResiDual을 제안한다.
• 각 잔차 블록의 앞과 뒤에 모두 레이어 정규화를 적용하는 사전-사후-레이어 정규화(Pre-Post-Layer Normalization, PPLN)를 도입한다.
• 이중 잔차 경로를 사용한다: 하나는 입력에서 블록의 출력까지의 잔차 스킵 연결(Pre-LN 방식), 다른 하나는 입력에서 잔차 출력까지의 잔차 스킵 연결(Post-LN 방식).
• 이론적으로 ResiDual이 유계 기울기 노름을 가지며 기울기 흐려짐을 피하고, 다양한 은닉 표현을 유지하여 붕괴를 방지함을 증명한다.
• 이론적 분석을 통해 이중 잔차 메커니즘이 안정적인 기울기 흐름과 бог enriched 표현 학습을 보장함을 보여준다.
• WMT 및 OPUS-100을 포함한 다양한 기계 번역 벤치마크에서 다수의 실험을 통해 방법을 실증적으로 검증한다. 이는 다양한 깊이와 데이터 크기에서 수행된다.

실험 결과

연구 질문

• RQ1 깊은 네트워크에서 기울기 흐려짐과 표현 붕괴를 동시에 방지할 수 있는 트랜스포머 아키텍처를 설계할 수 있는가?
• RQ2 Pre-LN과 Post-LN 잔차 연결을 조합하면 단독으로 사용할 경우보다 더 뛰어난 학습 안정성과 모델 성능을 달성할 수 있는가?
• RQ3 제안된 이중 잔차 메커니즘은 학습 중 학습률 워밍업이 필요 없도록 줄이거나 제거할 수 있는가?
• RQ4 기존의 Post-LN 및 Pre-LN 변종과 비교해 볼 때, 다양한 네트워크 깊이와 데이터 스케일에서 모델 성능은 어떻게 되는가?
• RQ5 이중 잔차 설계는 깊은 트랜스포머에서 표현 다양성과 모델 용량을 얼마나 향상시키는가?

주요 결과

• ResiDual은 평가된 모든 벤치마크에서 Post-LN 및 Pre-LN을 모두 초월하며, E12D12 설정에서 표준 Pre-LN 대비 0.9 BLEU 포인트 향상된 성능을 기록했다.
• WMT 데이터셋에서 ResiDual은 E18D18 모델에서 27.65 BLEU를 기록하여 Pre-LN 기준선 대비 1.1 포인트 향상된 성능을 보였다.
• OPUS-100 데이터셋에서 ResiDual은 단지 18층으로 31.0 BLEU를 기록하여 100층의 DeepNet 모델과 동일한 성능을 달성했다.
• ResiDual는 학습률 워밍업 없이도 성공적으로 학습이 가능했고, 반면 Post-LN는 이를 사용하지 않으면 수렴하지 못해 학습 안정성이 향상됨을 입증했다.
• 이론적 분석을 통해 ResiDual가 유계 기울기 노름 덕분에 기울기 흐려짐을 피하고, Post-LN 수준의 표현 다양성을 유지함을 확인했다.
• 실증 결과는 ResiDual가 깊이가 증가하더라도 강력한 성능을 유지함을 보여주어 더 나은 일반화 능력과 용량 활용도를 시사한다.