[논문 리뷰] Deep Neural Machine Translation with Linear Associative Unit

Mingxuan Wang, Zhengdong Lu외 2명|arXiv (Cornell University)|2017. 05. 02.

Natural Language Processing Techniques참고 문헌 24인용 수 14

한 줄 요약

이 논문은 선형 및 비선형 변환을 융합함으로써 시간과 공간을 가로질러 차단되지 않는 기울기 흐름을 가능하게 하는 새로운 순환 신경망 유닛인 선형 연관 유닛(Linear Associative Unit, LAU)을 제안한다. 이를 통해 도출된 DeepLAU 모델은 중국어-영어 번역에서 Groundhog 대비 11.7 BLEU 향상과 함께 최신 기준 성능을 달성하였고, 영어-독일어 및 영어-프랑스어 WMT14 과제에서도 경쟁력 있는 결과를 보이며 깊이 있는 아키텍처에서 훨씬 뛰어난 훈련 안정성과 성능을 입증하였다.

ABSTRACT

Deep Neural Networks (DNNs) have provably enhanced the state-of-the-art Neural Machine Translation (NMT) with their capability in modeling complex functions and capturing complex linguistic structures. However NMT systems with deep architecture in their encoder or decoder RNNs often suffer from severe gradient diffusion due to the non-linear recurrent activations, which often make the optimization much more difficult. To address this problem we propose novel linear associative units (LAU) to reduce the gradient propagation length inside the recurrent unit. Different from conventional approaches (LSTM unit and GRU), LAUs utilizes linear associative connections between input and output of the recurrent unit, which allows unimpeded information flow through both space and time direction. The model is quite simple, but it is surprisingly effective. Our empirical study on Chinese-English translation shows that our model with proper configuration can improve by 11.7 BLEU upon Groundhog and the best reported results in the same setting. On WMT14 English-German task and a larger WMT14 English-French task, our model achieves comparable results with the state-of-the-art.

연구 동기 및 목표

• 신경 기계 번역에 사용되는 깊이 있는 순환 신경망에서의 기울기 소실 문제를 해결하기 위해.
• 깊이 있는 인코더-디코더 아키텍처에서 최적화를 향상시키기 위해 순환 유닛 내 기울기 경로 길이를 단축하기 위해.
• 더 깊은 네트워크에서 성능 저하 없이도 간단하면서도 효과적인 순환 유닛을 설계하기 위해.
• 더 깊은 모델을 사용하여 주요 NMT 벤치마크에서 최신 기준 또는 경쟁 가능한 성능을 달성하기 위해.
• 깊이가 효율적인 기울기 흐름과 결합될 경우, 복잡한 언어적 구조를 모델링하는 데 있어 너비보다 더 유익한가를 입증하기 위해.

제안 방법

• 순환 유닛 내에서 선형 및 비선형 변환을 융합함으로써 직접적인 정보 흐름을 가능하게 하는 선형 연관 유닛(LAU)을 제안한다.
• LAU는 입력과 은닉 상태 간의 선형 합을 계산하는 同시에 비선형 변환도 적용함으로써, 단순 경로와 순차 경로를 모두 지원한다.
• 이 아키텍처는 시간과 공간을 가로질러 차단되지 않는 기울기 전파를 가능하게 하여 기울기 소실 효과를 감소시킨다.
• LAU를 사용한 깊이 있는 인코더와 디코더를 활용하여, 최적화 붕괴 없이도 더 깊은 스타킹을 가능하게 한다.
• 표준 어텐션 메커니즘과 교차 엔트로피 손실을 사용한 시퀀스-투-시퀀스 훈련을 적용한다.
• NIST 중국어-영어 및 WMT14 영어-독일어/프랑스어 벤치마크에서 BLEU 점수를 사용해 모델 성능을 평가한다.

실험 결과

연구 질문

• RQ1 새로운 순환 유닛 설계가 깊이 있는 NMT 모델에서 기울기 경로 길이를 단축하고 훈련 안정성을 향상시키는가?
• RQ2 순환 유닛을 통해 직접적인 선형 정보 흐름을 허용하면, 긴 복잡한 문장에서 더 나은 성능을 내는가?
• RQ3 LAU를 사용한 더 깊은 네트워크가 파rameter 수가 적은 경우에도 얕은 모델보다 성능이 뛰어나게 되는가?
• RQ4 BLEU 점수와 훈련 안정성 측면에서 LAU는 잔차 연결 및 패스트포워드 연결과 비교해 어떻게 성능을 내는가?
• RQ5 신경 기계 번역에서 성능 향상에 기여하는 요소로, 깊이가 너비보다 더 중요한가?

주요 결과

• NIST 중국어-영어 번역 과제에서 DeepLAU는 Groundhog 대비 11.7 BLEU 향상과 표준 기술을 사용한 강력한 NMT 베이스라인 대비 4.9 BLEU 향상을 기록하였다.
• 8층 인코더와 6층 디코더를 사용한 DeepLAU는 BLEU 점수 39.01을 기록하여 DeepGRU 및 기타 베이스라인을 모두 압도하였다.
• 더 적은 파라미터를 사용함에도 불구하고, 깊이를 가진 DeepLAU(8,6)가 더 넓은 DeepGRU 모델보다 성능이 뛰어나, 깊이가 너비보다 더 유익함을 시사한다.
• WMT14 영어-독일어 및 영어-프랑스어 과제에서 DeepLAU는 최신 기준 모델과 비교해 유사한 성능을 기록하였다.
• 긴 문장에서도 DeepLAU는 모든 문장 길이 범주에서 DeepGRU보다 일관되게 높은 BLEU 점수를 기록하며 성능 향상을 유지하였다.
• 표준 DeepGRU 모델이 성능이 저하되는 극단적인 깊이(예: 인코더 8층)에서도 DeepLAU는 안정적인 훈련을 유지하였다.