[논문 리뷰] Learning Deep Transformer Models for Machine Translation

Qiang Wang, Bei Li외 5명|arXiv (Cornell University)|2019. 06. 05.

Natural Language Processing Techniques참고 문헌 35인용 수 96

한 줄 요약

본 논문은 실제로 깊은 Transformer 인코더가 pre-norm 아키텍처와 계층의 동적 선형 결합(DLCL)으로 Transformer-Big를 능가할 수 있음을 보여주며, 더 작고 빠르면서 최대 0.4–2.4 BLEU의 이점을 달성한다.

ABSTRACT

Transformer is the state-of-the-art model in recent machine translation evaluations. Two strands of research are promising to improve models of this kind: the first uses wide networks (a.k.a. Transformer-Big) and has been the de facto standard for the development of the Transformer system, and the other uses deeper language representation but faces the difficulty arising from learning deep networks. Here, we continue the line of research on the latter. We claim that a truly deep Transformer model can surpass the Transformer-Big counterpart by 1) proper use of layer normalization and 2) a novel way of passing the combination of previous layers to the next. On WMT'16 English- German, NIST OpenMT'12 Chinese-English and larger WMT'18 Chinese-English tasks, our deep system (30/25-layer encoder) outperforms the shallow Transformer-Big/Base baseline (6-layer encoder) by 0.4-2.4 BLEU points. As another bonus, the deep model is 1.6X smaller in size and 3X faster in training than Transformer-Big.

연구 동기 및 목표

• MT에서 더 깊은 Transformer 인코더가 표준 Transformer-Big/Base 기반선보다 성능을 낼 수 있는지 조사한다.
• 매우 깊은 Transformer 인코더의 학습을 가능하게 하는 최적화 전략을 확인한다.
• 깊은 표현을 개선하기 위해 모든 이전 계층의 정보를 재사용하는 메커니즘을 개발한다.
• 다양한 MT 벤치마크(En-De, Zh-En-U 변형)에서 DLCL을 적용한 깊은 Transformer를 평가한다.

제안 방법

• 트랜스포머에서 두 가지 잔차 변형(post-norm 및 pre-norm)을 연구하고 깊은 네트워크에 대한 영향을 평가한다.
• Learnable 가중치를 사용하여 이전 모든 계층 출력을 융합하는 Dynamic Linear Combination of Layers(DLCL)을 도입한다.
• pre-norm DLCL로 매우 깊은 인코더(최대 30층)를 학습시키고 이를 Transformer-Big/Base 및 post-norm 변형과 비교한다.
• 계층 정규화의 중요성과 학습 가능한 융합 가중치를 평가하기 위한 절삭(ablation) 연구를 제공한다.
• BPE 어휘를 사용하고 빔 서치를 적용한 WMT En-De, NIST Zh-En-Small, WMT Zh-En-Large에서 평가한다.
• 학습/추론 효율성과 모델 크기 비교를 보고한다.

실험 결과

연구 질문

• RQ1 더 깊은 Transformer 인코더가 Proper하게 최적화될 때 Transformer-Big를 능가할 수 있는가?
• RQ2 pre-norm(반면에 post-norm)이 매우 깊은 Transformer의 최적화 및 학습을 촉진하는가?
• RQ3 DLCL이 표준 잔차 연결보다 더 나은 정보 흐름과 초기 계층의 활용을 제공하는가?
• RQ4 MT 작업 전반에서 학습 비용, 모델 크기 및 추론 속도 측면에서 깊이의 트레이드오프는 어떻게 되는가?

주요 결과

• pre-norm과 DLCL을 갖춘 깊은 인코더(30층)가 Transformer-Base 대비 BLEU를 0.4–2.4만큼 개선하고, 여러 작업에서 Transformer-Big를 0.4–0.6 BLEU 초과할 수 있다.
• pre-norm을 갖춘 깊은 모델은 최적화가 더 쉬우며 post-norm 변형보다 더 깊게 학습될 수 있다(예: 20~30층 인코더).
• DLCL은 모든 이전 계층 표현을 동적으로End-to-end로 가중치를 두고 융합할 수 있어 고정적인 잔차 및 조밀 연결 방식보다 성능이 우수하다.
• DLCL 기반 모델은 Transformer-Big 대비 매개변수 수가 1.6배 감소하고 학습이 3배 빨라지며 일부 구성에서 추론도 약 10% 빠르다.
• En-De, Zh-En-Small, Zh-En-Large에서 깊은 DLCL 모델은 데이터 크기에 상관없이 Transformer-Big 성능에 근접하거나 이를 능가한다.
• 절삭(ablations)을 통해 층 정규화 제거나 고정 가중치 사용 시 성능이 저하되며, 학습 가능한 정규화된 층 융합의 중요성이 강조된다.