[논문 리뷰] An Efficient Character-Level Neural Machine Translation

Shenjian Zhao, Zhihua Zhang|arXiv (Cornell University)|2016. 08. 16.

Natural Language Processing Techniques참고 문헌 17인용 수 5

한 줄 요약

이 논문은 소스 시퀀스를 다운샘플링하기 위한 디카메이터와 디코딩 출력을 재샘플링하기 위한 인터폴레이터를 사용하는 딥 캐릭터 레벨 신경 기계 번역 모델을 제안한다. 이는 큰 어휘량을 필요로 하지 않고도 효율적인 훈련을 가능하게 한다. 모델은 워드 레벨 모델보다 높은 BLEU 점수를 달성하며, 잘못된 철자로 된 단어를 정확히 번역하고 의미적으로 유사한 단어에 대해 의미 있는 워드 임베딩을 학습한다.

ABSTRACT

Neural machine translation aims at building a single large neural network that can be trained to maximize translation performance. The encoder-decoder architecture with an attention mechanism achieves a translation performance comparable to the existing state-of-the-art phrase-based systems on the task of English-to-French translation. However, the use of large vocabulary becomes the bottleneck in both training and improving the performance. In this paper, we propose an efficient architecture to train a deep character-level neural machine translation by introducing a decimator and an interpolator. The decimator is used to sample the source sequence before encoding while the interpolator is used to resample after decoding. Such a deep model has two major advantages. It avoids the large vocabulary issue radically; at the same time, it is much faster and more memory-efficient in training than conventional character-based models. More interestingly, our model is able to translate the misspelled word like human beings.

연구 동기 및 목표

• 워드 레벨 신경 기계 번역에서 내재된 어휘 외 단어(OOV) 문제를 해결하기 위해 캐릭터 레벨에서 모델링하는 것.
• 긴 시퀀스와 큰 컨텍스트 윈도우로 인해 기존 캐릭터 레벨 모델의 계산 비효율성과 훈련 난이도를 해결하는 것.
• 워드 레벨 사전이나 워드 레벨 어휘에 의존하지 않고도 딥 순환 네트워크를 엔드 투 엔드로 훈련할 수 있도록 하는 것.
• 큰 어휘량을 필요로 하지 않으면서도 최신 워드 레벨 모델과 경쟁하거나 슈퍼어리어한 번역 성능을 달성하면서도, 알 수 없는 단어나 잘못된 철자 단어를 처리할 수 있도록 하는 것.
• 캐릭터 레벨 모델링이 워드 레벨 모델과 유사하게 의미적으로 군집된 의미론적 표현을 학습할 수 있음을 보여주는 것.

제안 방법

• 단어 경계(예: 공백)에서 소스 캐릭터 시퀀스를 샘플링하는 수정된 GRU 기반의 디카메이터를 도입하여 인코딩 이전에 시퀀스 길이를 감소시키는 것.
• 디코딩 중에 딜리미터가 생성될 때까지 캐릭터를 순차적으로 생성하는 수정된 GRU 기반의 인터폴레이터를 적용하여 워드 레벨 토크나이저 없이 자연스러운 디코딩을 가능하게 하는 것.
• Bahdanau 등(2014)과 유사하게 인코딩된 소스 표현에서 계산된 컨텍스트 벡터를 사용하는 표준 어텐션 메커니즘을 사용하는 것.
• 디카메이터와 인터폴레이터를 RNN 흐름에 통합하여 기울기 전파를 유지하면서 전체 모델을 엔드 투 엔드로 훈련하는 것.
• 언어의 계층적 구조(단어를 단위로 사용)를 활용하여, 시퀀스 감소와 생성의 제어점으로서 딜리미터를 사용하는 것.
• 학습된 워드 표현을 분석하기 위해 t-SNE 시각화를 적용하여 의미적으로 유사한 단어들이 밀집해 있고, 잘못된 철자 변형이 가까이 위치함을 보여주는 것.

실험 결과

연구 질문

• RQ1 캐릭터 레벨 신경 기계 번역 모델이 큰 어휘량을 필요로 하지 않으면서도 워드 레벨 모델과 비교해 경쟁력 있는 성능을 달성할 수 있는가?
• RQ2 제안된 디카메이터-인터폴레이터 아키텍처가 기존 캐릭터 레벨 모델에 비해 훈련 시간과 메모리 사용을 크게 줄일 수 있는가?
• RQ3 워드 레벨 검색이나 <unk> 토큰에 의존하지 않고도 OOV 및 잘못된 철자 단어를 성공적으로 번역할 수 있는가?
• RQ4 이 아키텍처를 사용한 캐릭터 레벨 모델링이 의미론적 관계를 유지하는가? 즉, 임베딩 공간에서 의미적으로 유사한 단어들이 군집되는가?
• RQ5 더 깊은 순환 네트워크를 사용할수록 모델 성능이 얼마나 향상되는가? 이는 Ling 등(2015b)과 같은 이전 캐릭터 레벨 접근법과 비교해 볼 때 어떻게 되는가?

주요 결과

• 제안된 DCNMT 모델은 WMT 2014 영어-프랑스어 번역 작업에서 BLEU 점수 38.7을 기록하여, 워드 레벨 모델(37.8 BLEU)과 Ling 등(2015b)의 캐릭터 레벨 모델을 모두 초월한다.
• 모델은 'responisble'이나 'exrecise'와 같은 잘못된 철자 단어를 <unk> 토큰에 의존하지 않고도 정확한 프랑스어 번역을 생성한다.
• t-SNE 시각화 결과, 의미적으로 유사한 단어인 'exercise'와 'exrecise'가 벡터 공간에서 가까이 위치해 있음을 확인하여 의미론적 학습이 이루어졌음을 시사한다.
• 'April', 'February', 'January', 'June', 'July'와 같은 단어들이 임베딩 공간에서 군집되어 있음을 관찰하여, 모델이 캐릭터 레벨 패턴에서 의미적 유사성을 학습할 수 있음을 보여준다.
• 디카메이터는 효과적인 입력 시퀀스 길이를 감소시켜, 기존 캐릭터 레벨 모델보다 훨씬 빠르고 메모리 효율적인 훈련을 가능하게 한다.
• 깊은 GRU 네트워크를 사용할 때도 높은 성능을 유지함으로써, 더 깊은 아키텍처로의 확장성과 향후 개선 가능성을 시사한다.