[논문 리뷰] Deep Recurrent Models with Fast-Forward Connections for Neural Machine Translation

Jie Zhou, Ying Cao외 3명|arXiv (Cornell University)|2016. 06. 14.

Natural Language Processing Techniques참고 문헌 27인용 수 16

한 줄 요약

이 논문은 16층의 깊이를 가진 딥 네럴 머신 번역(NMT)을 가능하게 하여 성능을 크게 향상시키기 위해 패스트포워드 연결과 인터리브드 양방향 LSTM 아키텍처를 도입한다. 선형 스킵 커넥션을 통해 기울기 흐름을 가속화함으로써, WMT'14 영어-프랑스 번역 작업에서 단일 모델 BLEU 점수 37.7을 달성하여 얕은 NMT와 최고의 전통적 SMT 시스템보다 각각 0.7 BLEU 포인트 높은 성능을 기록한다.

ABSTRACT

Neural machine translation (NMT) aims at solving machine translation (MT) problems using neural networks and has exhibited promising results in recent years. However, most of the existing NMT models are shallow and there is still a performance gap between a single NMT model and the best conventional MT system. In this work, we introduce a new type of linear connections, named fast-forward connections, based on deep Long Short-Term Memory (LSTM) networks, and an interleaved bi-directional architecture for stacking the LSTM layers. Fast-forward connections play an essential role in propagating the gradients and building a deep topology of depth 16. On the WMT'14 English-to-French task, we achieve BLEU=37.7 with a single attention model, which outperforms the corresponding single shallow model by 6.2 BLEU points. This is the first time that a single NMT model achieves state-of-the-art performance and outperforms the best conventional model by 0.7 BLEU points. We can still achieve BLEU=36.3 even without using an attention mechanism. After special handling of unknown words and model ensembling, we obtain the best score reported to date on this task with BLEU=40.4. Our models are also validated on the more difficult WMT'14 English-to-German task.

연구 동기 및 목표

• WMT'14 영어-프랑스 번역 작업에서 단일 NMT 모델과 전통적 SMT 시스템 간의 성능 격차를 해소하기 위해.
• 깊은 순환 신경망에서의 기울기 소실 문제를 해결하여 더 깊은 NMT 아키텍처를 가능하게 하기 위해.
• 새로운 아키텍처 구성 요소를 통해 깊은 LSTM에서의 훈련 안정성과 일반화 능력을 향상시키기 위해.
• 앙상블 기법 없이도 깊은 NMT 모델이 얕은 모델과 전통적 시스템을 초월할 수 있음을 입증하기 위해.

제안 방법

• 기울기 흐름을 가속화하기 위해 비선형 활성화 함수와 순환 계산을 건너뛰는 선형 스킵 커넥션 스타일의 패스트포워드 연결을 제안한다.
• 맥락 표현과 기울기 전파를 향상시키는 방식으로 인코더 레이어를 인터리브드 방식으로 스택하는 양방향 LSTM 아키텍처를 설계한다.
• 패스트포워드 연결을 활용하여 총 16층(25개의 LSTM 레이어)의 깊은 인코더-디코더 토폴로지 구조를 구현함으로써 매우 깊은 네트워크의 훈련을 안정화시킨다.
• 표준 인코더-디코더 및 어텐션 기반 NMT 모델에 이 아키텍처를 적용하여, 깊이 확장성 향상과 함께 엔드 투 엔드 학습을 가능하게 한다.
• 효율적인 추론을 위해 작은 비트 크기(3)의 빔 서치를 적용하여 성능을 저하시키지 않은 채 효율성을 확보한다.
• 알 수 없는 단어 처리 및 모델 앙상블을 적용하여 테스트 세트에서의 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 표준 RNN을 사용할 때 16층 이상의 깊은 순환 아키텍처를 NMT에 성공적으로 훈련시킬 수 있는가?
• RQ2 표준 잔차 연결 또는 스킵 커넥션과 비교해 패스트포워드 연결이 깊은 LSTMs에서 기울기 흐름과 훈련 안정성에 뚜렷한 향상을 이끌 수 있는가?
• RQ3 단일 깊은 NMT 모델이 WMT'14 영어-프랑스 번역 작업에서 최고의 전통적 SMT 시스템을 능가할 수 있는가?
• RQ4 특히 장문의 시퀀스에서 모델의 깊이가 과적합과 일반화에 어떤 영향을 미치는가?
• RQ5 알 수 없는 단어가 깊은 NMT 모델의 성능에 얼마나 큰 제약을 미치며, 그 영향을 줄일 수 있는가?

주요 결과

• 제안된 16층 깊이의 깊은 NMT 모델과 패스트포워드 연결은 WMT'14 영어-프랑스 테스트 세트에서 BLEU 점수 37.7을 기록하여 이전 최고의 단일 모델 결과보다 6.2 BLEU 포인트 높은 성능을 달성한다.
• 이 모델은 이 작업에서 최고의 전통적 SMT 시스템(37.0 BLEU)을 처음으로 초월한 단일 NMT 시스템으로, 37.7 BLEU로 새로운 SOTA 결과를 달성한다.
• 어텐션 메커니즘 없이도 깊은 모델은 36.3 BLEU를 기록하여 깊이와 패스트포워드 연결의 효과가 단독으로도 매우 효과적임을 입증한다.
• 알 수 없는 단어 처리 및 3개의 모델 앙상블를 적용한 후 BLEU 점수는 40.4에 도달하여 이전 최고 결과보다 2.9 포인트 향상된다.
• 알 수 없는 단어가 없는 테스트 서브셋에서 앙상블 모델은 41.4 BLEU를 기록하여 알 수 없는 단어가 주요 성능 저하 요인임을 시사한다.
• 유사한 훈련 오차율에서 얕은 모델에 비해 깊은 모델이 과적합이 적은 것으로 나타나, 테스트 성능 측면에서 더 우수한 성능을 보였다.