[논문 리뷰] Why Deep Transformers are Difficult to Converge? From Computation Order to Lipschitz Restricted Parameter Initialization

Hongfei Xu, Qiuhui Liu외 2명|arXiv (Cornell University)|2019. 11. 08.

Natural Language Processing Techniques참고 문헌 10인용 수 8

한 줄 요약

이 논문은 딥 트랜스포머에서 잔차 연결과 레이어 정규화의 계산 순서가 최적화에 상당한 영향을 미친다는 점을 규명하고, 원래 계산 순서를 그대로 유지하면서도 24층까지의 딥 트랜스포머에서 수렴을 가능하게 하는 리프시츠 제약을 가진 파라미터 초기화 방법을 제안한다. 이는 이전 연구에서 아키텍처 변경이 필요하거나 딥 인코더에만 국한된 분석을 해왔던 핵심적 한계를 극복한다.

ABSTRACT

The Transformer translation model employs residual connection and layer normalization to ease the optimization difficulties caused by its multi-layer encoder/decoder structure. While several previous works show that even with residual connection and layer normalization, deep Transformers still have difficulty in training, and particularly a Transformer model with more than 12 encoder/decoder layers fails to converge. In this paper, we first empirically demonstrate that a simple modification made in the official implementation which changes the computation order of residual connection and layer normalization can effectively ease the optimization of deep Transformers. In addition, we deeply compare the subtle difference in computation order, and propose a parameter initialization method which simply puts Lipschitz restriction on the initialization of Transformers but can effectively ensure their convergence. We empirically show that with proper parameter initialization, deep Transformers with the original computation order can converge, which is quite in contrast to all previous works, and obtain significant improvements with up to 24 layers. Our proposed approach additionally enables to benefit from deep decoders compared to previous works which focus on deep encoders.

연구 동기 및 목표

• 잔차 연결과 레이어 정규화가 존재함에도 불구하고 12층을 초과하는 딥 트랜스포머가 수렴하지 못하는 이유를 규명하는 것.
• 특히 잔차 연결과 레이어 정규화의 계산 순서가 최적화 안정성에 미치는 영향을 분석하는 것.
• 기울기 흐름을 제어하고 최적화를 향상시키기 위해 모델 가중치에 리프시츠 제약을 부과하는 파라미터 초기화 방법을 개발하는 것.
• 이전 연구에서 거의 간과되어 왔던 딥 디코더의 훈련 가능성을 보장함으로써 최소한의 아키텍처 변경으로도 깊이 있는 트랜스포머의 수렴을 가능하게 하는 것.

제안 방법

• 실증적으로 계산 순서를 변경—즉, 잔차 연결 이전에 레이어 정규화를 적용하는 것—이 딥 트랜스포머의 훈련 안정성을 크게 향상시킨다는 것을 보여주는 것.
• 기울기 흐름을 제어하고 최적화를 개선하기 위해 기존의 가중치에 리프시츠 제약을 부과하는 새로운 파라미터 초기화 기법을 제안하는 것.
• 피드포워드 및 자기주의어 서브레이어의 가중치 행렬의 스펙트럴 노름을 제약함으로써 리프시츠 제약 초기화를 수식적으로 정의하는 것.
• 표준 초기화와 비교하여 기계 번역 벤치마크에서 딥 인코더와 딥 디코더 양쪽 모두에 대해 제안된 방법의 수렴성과 성능을 평가하는 것.
• 계산 순서와 초기화의 영향을 분리하기 위해 추론 실험을 수행하여, 적절한 초기화가 원래 순서를 그대로 사용할 때도 수렴을 복원할 수 있음을 보여주는 것.
• 기울기 역학과 손실 경로를 분석하여 리프시츠 제약이 깊은 신경망에서 훈련을 안정화시킨다는 것을 검증하는 것.

실험 결과

연구 질문

• RQ1 잔차 연결과 레이어 정규화의 계산 순서가 딥 트랜스포머의 최적화에 어떤 영향을 미치는가?
• RQ2 계산 순서를 변경하지 않고도 리프시츠 제약을 가진 파라미터 초기화 방법이 딥 트랜스포머의 훈련을 안정화시킬 수 있는가?
• RQ3 제안된 초기화 방법이 이전 연구에서 거의 다루지 않은 딥 디코더에서도 수렴을 가능하게 하는가?
• RQ4 제안된 방법을 통해 얼마나 깊이까지 모델을 확장할 수 있는가(예: 24층까지), 수렴성과 성능을 유지할 수 있는가?

주요 결과

• 잔차 연결 이전에 레이어 정규화를 적용하는 단순한 계산 순서 변경이 딥 트랜스포머의 훈련 안정성을 상당히 향상시킨다.
• 제안된 리프시츠 제약 초기화를 통해 원래 계산 순서를 유지한 채로 24층까지의 딥 트랜스포머가 성공적으로 수렴한다.
• 이 방법은 이전 연구에서 거의 성공하지 못했던 딥 디코더의 효과적인 훈련을 가능하게 하여, 딥 인코더를 넘어서 보다 광범위한 적용 가능성을 입증한다.
• 기계 번역 벤치마크에서 제안된 초기화 방법이 표준 초기화 및 이전의 딥 트랜스포머 접근법보다 뚜렷한 성능 향상을 이룬다.
• 실증 분석 결과 리프시츠 제약이 기울기 흐름을 안정화시키고, 특히 더 깊은 아키텍처에서 손실 분산을 감소시킴을 보여준다.
• 표준 초기화가 실패하는 상황에서도 이 방법은 12층을 초과하는 모델에서 수렴을 달성하여, 딥 트랜스포머 아키텍처에서 오랫동안 지속된 훈련 곤경을 해결한다.