[논문 리뷰] The Best of Both Worlds: Combining Recent Advances in Neural Machine Translation

Mia Xu Chen, Orhan Fırat외 10명|arXiv (Cornell University)|2018. 04. 25.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 Transformer와 ConvS2S와 같은 현대 아키텍처에서 유래한 고도의 훈련 기법—다중 헤드 어텐션, 레이어 정규화, 레이블 스무딩 등을 통합한 RNN 기반 신경 기계 번역 모델인 RNMT+를 소개한다. 스태킹된 양방향 LSTM 인코더와 단방향 LSTM 디코더에 이러한 기법들을 적용함으로써 RNMT+는 WMT’14 영어-프랑스어 및 영어-독일어 벤치마크에서 모든 개별 아키텍처를 능가하며, 각각 41.00 BLEU와 28.49 BLEU의 성능을 기록한다. 또한 RNMT+ 디코더와 Transformer 스타일 인코더를 조합한 하이브리드 모델은 각각 41.67 및 28.84 BLEU의 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

The past year has witnessed rapid advances in sequence-to-sequence (seq2seq) modeling for Machine Translation (MT). The classic RNN-based approaches to MT were first out-performed by the convolutional seq2seq model, which was then out-performed by the more recent Transformer model. Each of these new approaches consists of a fundamental architecture accompanied by a set of modeling and training techniques that are in principle applicable to other seq2seq architectures. In this paper, we tease apart the new architectures and their accompanying techniques in two ways. First, we identify several key modeling and training techniques, and apply them to the RNN architecture, yielding a new RNMT+ model that outperforms all of the three fundamental architectures on the benchmark WMT'14 English to French and English to German tasks. Second, we analyze the properties of each fundamental seq2seq architecture and devise new hybrid architectures intended to combine their strengths. Our hybrid models obtain further improvements, outperforming the RNMT+ model on both benchmark datasets.

연구 동기 및 목표

• 최근의 훈련 및 모델링 기법—예를 들어 레이블 스무딩, 다중 헤드 어텐션, 레이어 정규화—이 순서-순서 모델에 미치는 영향을 분리하고 평가하는 것.
• RNMT+라는 새로운 모델을 도출하기 위해 이러한 기법들을 표준 RNN 기반 NMT(RNMT)에 적용함으로써 성능을 향상시키는 것.
• RNMT+, Transformer, ConvS2S의 구성 요소를 융합한 하이브리드 아키텍처를 탐색하여 각 아키텍처의 강점을 활용하는 것.
• 모든 모델이 동일한 프레임워크에서 동일한 데이터 전처리 및 후처리 없이 훈련되고 평가되도록 하여 공정한 비교를 보장하는 것.
• 자기 어텐션 및 잔차 연결과 같은 아키텍처 구성 요소가 서로 다른 모델 유형 간에 효과적으로 이식 가능한지 조사하는 것.

제안 방법

• 저자는 Transformer 및 ConvS2S 모델의 핵심 기법—특히 다중 헤드 어텐션, 레이어 정규화, 레이블 스무딩, 동기 복제 훈련—을 표준 RNMT 아키텍처에 적용한다.
• 저자는 스태킹된 양방향 LSTM 인코더, 단방향 LSTM 디코더, 다중 헤드 어텐션 및 레이어 정규화의 추가를 포함한 수정된 RNMT 모델인 RNMT+를 제안한다.
• 저자는 두 가지 하이브리드 인코더 아키텍처를 설계한다: 사전 훈련된 RNMT+ 인코더에 이어진 미세조정된 Transformer 레이어를 스태킹하는 캐스케이드 인코더와, 별도의 RNMT+ 및 Transformer 인코더 출력을 연결하는 다중 컬럼 인코더.
• 하이브리드 모델은 추론 실험에서 RNMT+ 디코더를 사용한다. 이는 아블레이션 연구에서 Transformer 디코더보다 성능이 뛰어나다는 것이 확인되었기 때문이다.
• 모든 모델은 동일한 조건에서 WMT’14 영어-프랑스어 및 영어-독일어 데이터셋을 사용하여 훈련 및 평가되며, 후처리를 적용하지 않는다.
• 성능는 BLEU 점수로 측정되며, 각 기법의 기여도를 분리하기 위해 아블레이션 연구가 수행된다.

실험 결과

연구 질문

• RQ1 최근의 훈련 기법—예를 들어 레이블 스무딩, 레이어 정규화—가 RNN 기반 NMT 모델의 성능에 얼마나 큰 영향을 미치는가?
• RQ2 Transformer 및 ConvS2S 모델의 아키텍처 혁신을 표준 RNMT에 통합함으로써 성능을 크게 향상시킬 수 있는가?
• RQ3 RNMT+와 Transformer 모델의 구성 요소를 융합한 하이브리드 아키텍처가 개별 구성 요소보다 번역 품질이 뛰어나게 되는가?
• RQ4 RNMT+ 디코더와 조합했을 때, 캐스케이드 또는 다중 컬럼 인코더 중 어느 구성이 더 높은 성능을 낼 수 있는가?
• RQ5 자연어 번역에서 RNN의 순차적 모델링 능력과 자기 어텐션의 장거리 의존성 처리 능력 간의 상대적 강점이 하이브리드 구성에서 어떻게 드러나는가?

주요 결과

• 다중 헤드 어텐션, 레이어 정규화 및 기타 훈련 기법을 스태킹된 양방향 LSTM 아키텍처에 통합한 RNMT+ 모델은 WMT’14 영어-프랑스어 번역에서 41.00 BLEU, 영어-독일어 번역에서 28.49 BLEU의 성능을 기록하여 원본 RNMT 및 Transformer, ConvS2S 기준 모델을 모두 능가한다.
• 사전 훈련된 RNMT+ 인코더에 이어진 미세조정된 Transformer 레이어를 스태킹하는 캐스케이드 인코더는 영어-프랑스어 번역 과제에서 0.5 BLEU 이상 향상되어 41.67 BLEU의 성능을 달성한다.
• 별도의 RNMT+ 및 Transformer 인코더 출력을 연결하는 다중 컬럼 인코더는 영어-프랑스어 번역에서 41.66 BLEU, 영어-독일어 번역에서 28.84 BLEU의 성능을 기록하여 두 벤치마크에서 모두 새로운 SOTA 성능을 수립한다.
• 아블레이션 연구에서 RNMT+ 디코더는 항상 Transformer 디코더를 능가하는 성능를 보이며, 이는 디코더 아키텍처가 강력한 인코더와 조합되어도 성능에 결정적인 영향을 미친다는 것을 시사한다.
• 아블레이션 연구는 레이블 스무딩, 레이어 정규화, 동기 복제 훈련과 같은 기법들이 모든 아키텍처에서 성능 향상에 뚜렷한 기여를 한다는 것을 확인한다.
• 하이브리드 모델은 자기 어텐션의 표현력(Transformer에서 유래)과 RNMT+의 순차적 모델링 능력을 융합함으로써 단일 모델보다 뛰어난 번역 품질을 달성함을 보여준다.