[논문 리뷰] Multiscale Collaborative Deep Models for Neural Machine Translation

Xiangpeng Wei, Heng Yu외 4명|arXiv (Cornell University)|2020. 04. 29.

Natural Language Processing Techniques참고 문헌 44인용 수 7

한 줄 요약

이 논문은 블록 스케일과 컨텍스트 스케일 간의 협업을 통해 그래디언트 흐름과 표현 학습을 향상시켜 초초기 신경 기계 번역(NMT) 모델을 훈련시키기 위한 다중 척도 협업(Msc) 프레임워크를 제안한다. 이 방법은 72층 인코더를 통해 IWSLT에서 +2.2–3.1 BLEU 향상과 WMT14 En→De에서 30.56 BLEU 점수를 달성하며, 파rameter 수가 적은 상태에서 최신의 초초기 NMT 모델을 능가한다.

ABSTRACT

Recent evidence reveals that Neural Machine Translation (NMT) models with deeper neural networks can be more effective but are difficult to train. In this paper, we present a MultiScale Collaborative (MSC) framework to ease the training of NMT models that are substantially deeper than those used previously. We explicitly boost the gradient back-propagation from top to bottom levels by introducing a block-scale collaboration mechanism into deep NMT models. Then, instead of forcing the whole encoder stack directly learns a desired representation, we let each encoder block learns a fine-grained representation and enhance it by encoding spatial dependencies using a context-scale collaboration. We provide empirical evidence showing that the MSC nets are easy to optimize and can obtain improvements of translation quality from considerably increased depth. On IWSLT translation tasks with three translation directions, our extremely deep models (with 72-layer encoders) surpass strong baselines by +2.2~+3.1 BLEU points. In addition, our deep MSC achieves a BLEU score of 30.56 on WMT14 English-German task that significantly outperforms state-of-the-art deep NMT models.

연구 동기 및 목표

• 매우 깊은 아키텍처에서 기울기 소실과 부적절한 오차 역전파로 인한 깊은 NMT 모델의 성능 열화 문제를 해결하기 위해.
• 30–40층을 초과하는 심층 구조에서도 성능 포화나 감소 없이 NMT 모델을 훈련시킬 수 있도록 하기 위해.
• 각 인코더 블록이 세밀한 특징을 학습하고 공간적 종속성 모델링을 통해 이를 향상시킴으로써 표현 학습을 향상시키기 위해.
• 디코더 어텐션을 국소적인 인코더 블록 출력과 다양한 척도의 문맥 표현 간에 조율하기 위해.
• 모델 깊이가 적절히 최적화될 경우, 얕은 모델이 달성할 수 없는 번역 품질 향상을 가져올 수 있음을 입증하기 위해.

제안 방법

• 깊은 인코더 스택에서 상단에서 하단 레이어로의 그래디언트 역전파를 명시적으로 향상시키기 위한 블록 스케일 협업 메커니즘을 도입한다.
• 하향식 네트워크를 사용하여 공간적 종속성을 인코딩함으로써 각 인코더 블록의 표현을 향상시키는 컨텍스트 스케일 협업 모듈을 활용한다.
• 디코더가 공간적 종속성을 가진 해당 인코더 블록과 문맥 표현 양쪽 모두에 어텐션을 집중하는 다중 척도 어텐션 메커니즘을 사용한다.
• 각 블록의 출력이 하위 레벨 특징의 맥락 인식 집합에 의해 향상되는 잔차 스타일 연결을 인코더 블록 간에 적용한다.
• 표현 품질 향상과 훈련 안정성 향상을 위해 요소별 덧셈이 아닌 게이트형 특징 융합 메커니즘을 사용한다.
• 사전 정규화 잔차 연결과 레이어 정규화를 적용하여 깊은 아키텍처에서의 훈련 안정성을 확보하며, 이는 이전 연구와 일관되지만 다중 척도 협업 프레임워크 내부에 통합되어 있다.

실험 결과

연구 질문

• RQ1 72층 인코더를 포함한 초초기 NMT 모델(예: 72층 인코더)은 성능 열화 없이 효과적으로 훈련될 수 있는가?
• RQ2 인코더 블록 간의 다중 척도 협업을 도입함으로써 깊은 NMT 모델의 그래디언트 흐름과 표현 학습이 향상되는가?
• RQ3 제안된 Msc 프레임워크는 파라미터 수가 적은 상태에서도 강력한 베이스라인과 이전의 초초기 NMT 모델을 능가하는 번역 품질을 달성할 수 있는가?
• RQ4 맥락적 표현과 국소 표현의 통합이 깊은 NMT 모델의 성능에 어떤 영향을 미치는가?
• RQ5 깊이 증가로 인한 성능 향상은 모델 용량 때문인지, 아니면 더 나은 최적화를 가능하게 하는 아키텍처 설계 때문인가?

주요 결과

• Msc 프레임워크는 72층 NMT 인코더의 효과적인 훈련을 가능하게 하여 WMT14 영어→독일어 번역 과제에서 30.56 BLEU 점수를 달성하며, 최신의 초초기 NMT 모델을 능가한다.
• 세 개의 언어 쌍을 가진 IWSLT 번역 과제에서 깊은 Msc 모델은 강력한 베이스라인 대비 +2.2에서 +3.1 BLEU 포인트의 향상을 기록한다.
• 제거 실험에서는 맥락 협업 또는 Cxt-Enc 어텐션을 제거할 경우 BLEU 점수가 약 0.7 포인트 감소함으로써 다중 척도 협업의 중요성을 확인한다.
• 간단한 피드포워드 네트워크(FFN)로 맥락 협업 셀을 대체할 경우 성능이 0.5 BLEU 감소함으로써, 설계된 모듈의 필요성을 입증한다.
• 같거나 두 배의 파라미터 수를 가진 얕은 Msc 모델(18 또는 36층)은 72층 모델에 비해 성능이 열등함으로써 깊이가 성능 향상의 핵심 요인임을 증명한다.
• 요소별 덧셈을 사용한 단순한 특징 융합 모델은 29.45 BLEU를 기록하며, 최고 성능보다 낮은 결과를 보임으로써 게이트형 융합 메커니즘이 성능에 결정적인 역할을 한다는 것을 입증한다.