[논문 리뷰] Neural Machine Translation in Linear Time

Nal Kalchbrenner, Lasse Espeholt외 4명|arXiv (Cornell University)|2016. 10. 31.

Natural Language Processing Techniques참고 문헌 10인용 수 317

한 줄 요약

ByteNet은 소스 해상도를 보존하고 가변 길이 시퀀스에 대해 동적 펼침을 가능하게 하며, 선형 시간 전체 복잡도에서 작동하는 1D 확장 CNN 인코더-디코더를 도입하여 문자 수준 모델링과 영어-독일어 문자 기반 번역에서 최첨단 성능을 달성합니다.

ABSTRACT

We present a novel neural network for processing sequences. The ByteNet is a one-dimensional convolutional neural network that is composed of two parts, one to encode the source sequence and the other to decode the target sequence. The two network parts are connected by stacking the decoder on top of the encoder and preserving the temporal resolution of the sequences. To address the differing lengths of the source and the target, we introduce an efficient mechanism by which the decoder is dynamically unfolded over the representation of the encoder. The ByteNet uses dilation in the convolutional layers to increase its receptive field. The resulting network has two core properties: it runs in time that is linear in the length of the sequences and it sidesteps the need for excessive memorization. The ByteNet decoder attains state-of-the-art performance on character-level language modelling and outperforms the previous best results obtained with recurrent networks. The ByteNet also achieves state-of-the-art performance on character-to-character machine translation on the English-to-German WMT translation task, surpassing comparable neural translation models that are based on recurrent networks with attentional pooling and run in quadratic time. We find that the latent alignment structure contained in the representations reflects the expected alignment between the tokens.

연구 동기 및 목표

• 시퀀스 길이에 따라 선형적으로 확장되고 대규모 기억화(excessive memorization)를 피하는 신경 번역 모델을 제안한다.
• 해상도 보존 인코더-디코더 아키텍처를 개발하여 시간적 구조를 보존한다.
• 인코더 표현을 가변 길이 디코더와 연결하기 위해 동적 펼침을 도입한다.
• 합성곱에서 확장(dilation)을 사용하여 수용 영역을 효율적으로 확장한다.
• ByteNet을 문자 수준 언어 모델링과 문자 간 번역 작업에서 평가한다.

제안 방법

• 해상도 보존을 위해 CNN 기반 인코더와 CNN 기반 디코더를 인코더 표현 위에 쌓는다.
• 고정된 인코더 표현으로부터 가변 길이 출력을 생성하기 위해 동적 펼침을 적용한다.
• 타깃의 미래 토큰에 대한 접근을 차단하기 위해 디코더 합성곱에 마스킹을 적용한다(인과성 마스킹).
• 수용 영역을 효율적으로 확장하기 위해 이중 증가하는 확장 비율의 확장 합성곱(dilated convolutions)을 사용한다.
• 레이어를 잔차 블록으로 감싸고 ReLU 기반 또는 곱셈 단위와 레이어 정규화를 사용한다.
• Adam 최적화를 사용하여 학습하고 언어 모델링은 bits-per-character로, 번역은 BLEU로 평가한다.

실험 결과

연구 질문

• RQ1 동적 펼침이 가능한 완전한 합성곱 인코더-디코더가 선형 시간 복잡도를 유지하면서 경쟁력 있는 번역 품질을 달성할 수 있는가?
• RQ2 소스 시퀀스의 해상도 보존과 확장된 확장 합성곱(dilated convolutions)이 번역의 장거리 의존성 모델링에 효과적인가?
• RQ3 ByteNet이 반복 신경망과 비교할 때 문자 수준 언어 모델링에서 어떤 성능을 보이는가?
• RQ4 영어-독일어 문자 수준/문자 기반 번역 벤치마크에서 ByteNet의 번역 성능 향상은 어느 정도인가?
• RQ5 학습된 잠재 정렬 구조가 번역의 토큰 수준 대응에 대해 무엇을 나타내는가?

주요 결과

모델	입력	출력	WMT Test ’14	WMT Test ’15
ByteNet	char	char	23.75	26.26
GNMT (RNN Enc-Dec Att)	word-pieces	word-pieces	24.61
RNN Enc-Dec Att ( Chung et al., 2016b )	BPE	BPE	19.98	21.72
RNN Enc-Dec Att ( Chung et al., 2016b )	char	char	21.33	23.45

• ByteNet은 문자 수준 언어 모델링에서 최첨단을 달성한다(위키피디아에서 1.31 bits/character).
• ByteNet은 문자-대-문자 영어-독일어 번역에서 WMT NewsTest 2014 및 2015의 최첨단 BLEU 점수를 달성한다(BLEU 23.75 및 26.26).
• WMT 2015에서 ByteNet은 보고된 시스템 중 문자 수준 번역에 대해 지금까지의 최고 공개 결과를 달성한다.
• ByteNet은 입력 및 출력 길이에 대해 선형 실행 시간을 보이고 해상도 보존 소스 표현을 유지한다.
• 모델은 토큰 대응에 대한 기대되는 정렬과 유사한 잠재 정렬 구조를 보인다.
• 반면 반복 모델과 비교해 ByteNet은 강력한 베이스라인을 능가하거나 대등한 성능을 보이면서 2차시간 복잡도를 피한다.