[논문 리뷰] A Convolutional Encoder Model for Neural Machine Translation

Jonas Gehring, Michael Auli외 2명|arXiv (Cornell University)|2016. 11. 07.

Natural Language Processing Techniques참고 문헌 29인용 수 64

한 줄 요약

이 논문은 신경 기계 번역(NMT)을 위한 컨볼루션 신경망(CNN) 인코더를 제안하며, 양방향 LSTMs 대신 스택형 확장된 컨볼루션 레이어와 잔차 연결을 사용한다. 이 모델은 WMT 벤치마크에서 경쟁 가능한 번역 정확도를 달성하면서도 CPU 추론 속도를 최대 2.1배 빠르게 하여, CNN이 순차적 작업에 대해 RNN 기반 모델과 동등하거나 이를 초월하는 속도와 성능를 달성할 수 있음을 보여준다.

ABSTRACT

The prevalent approach to neural machine translation relies on bi-directional LSTMs to encode the source sentence. In this paper we present a faster and simpler architecture based on a succession of convolutional layers. This allows to encode the entire source sentence simultaneously compared to recurrent networks for which computation is constrained by temporal dependencies. On WMT'16 English-Romanian translation we achieve competitive accuracy to the state-of-the-art and we outperform several recently published results on the WMT'15 English-German task. Our models obtain almost the same accuracy as a very deep LSTM setup on WMT'14 English-French translation. Our convolutional encoder speeds up CPU decoding by more than two times at the same or higher accuracy as a strong bi-directional LSTM baseline.

연구 동기 및 목표

• 신경 기계 번역에서 양방향 LSTM 인코더의 더 빠르고 더 병렬 처리 가능한 대안을 개발하기 위해.
• 컨볼루션 네트워크가 소스 시퀀스의 장거리 의존성을 효과적으로 모델링할 수 있는지 조사하기 위해.
• 특히 CPU 하드웨어에서 번역 품질을 저하시키지 않은 채 추론 속도를 향상시키기 위해.
• 비반복적 인코더에서 잔차 연결과 위치 임베딩의 효과를 탐색하기 위해.
• 표준 NMT 벤치마크에서 컨볼루션 인코더의 성능을 최신 RNN 기반 모델과 비교하기 위해.

제안 방법

• 커널 크기가 3이고 확장률을 사용하여 수용 영역를 확장하는 스택형 확장 1D 컨볼루션 레이어를 사용한다.
• 매우 깊은 아키텍처를 가능하게 하기 위해 컨볼루션 블록 간에 잔차 연결을 적용한다.
• 순서 정보를 유지하기 위해 학습 가능한 위치 임베딩을 통합한다.
• 어텐션 점수 계산과 조건부 입력 집계를 위해 별도의 1x1 컨볼루션 레이어를 사용한다.
• 쿼리, 키, 밸류 투영을 디코더 상태와 인코더 출력에서 유도하는 도트 곱 어텐션 메커니즘을 적용한다.
• 출력 레이어 계산 비용을 줄이기 위해 어휘 선택을 적용하여 디코딩 속도를 가속화한다.

실험 결과

연구 질문

• RQ1 순수하게 컨볼루션 인코더가 신경 기계 번역에서 양방향 LSTMs 인코더의 성능을 따라하거나 능가할 수 있는가?
• RQ2 확장된 컨볼루션과 잔차 연결의 사용이 소스 시퀀스의 장거리 의존성을 효과적으로 모델링할 수 있는가?
• RQ3 반복 모델 대비 CPU 하드웨어에서 컨볼루션 인코더가 얼마나 빠른 추론 속도를 제공할 수 있는가?
• RQ4 비반복 인코더에서 위치 임베딩과 별도의 어텐션 계산 레이어의 성능에 미치는 영향은 어떠한가?
• RQ5 간단한 비반복 아키텍처가 표준 NMT 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• WMT’16 영어-루마니아어에서 컨볼루션 인코더는 28.5 BLEU를 기록하여 최신 기술 수준의 결과를 달성한다.
• WMT’15 영어-독일어에서 모델은 여러 최근에 발표된 결과들을 능가하는 24.0 BLEU를 기록한다.
• WMT’14 영어-프랑스어에서 모델은 표준 서브셋에서 매우 깊은 LSTM 설정의 성능을 따라한다.
• WMT’15 영어-독일어에서 컨볼루션 인코더는 비트 사이즈 5일 때 231단어/초(비LSTM 대비 109.9단어/초)로 2.1배 빠른 디코딩을 가능하게 한다.
• 작은 임베딩 크기 조건에서도 컨볼루션 모델은 IWSLT’14에서 비LSTM 대비 1.34배 더 빠르며, 캐시 효율성이 뛰어나다는 것을 보여준다.
• IWSLT’14에서 모델은 BLEU 점수를 0.7점 향상시키면서도 1.35배의 속도 향상을 달성하여, 속도와 정확도를 동시에 향상시킬 수 있음을 보여준다.