[논문 리뷰] Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation

Yonghui Wu, Mike Schuster외 29명|arXiv (Cornell University)|2016. 09. 26.

Natural Language Processing Techniques참고 문헌 4인용 수 5,643

한 줄 요약

GNMT는 딥 LSTM 인코더/디코더, 잔차 연결, 워드피스 서브워드 유닛, 양자화 추론을 갖춘 프로덕션 NMT 시스템으로, BLEU 점수에서 경쟁력 있는 성능과 어구 기반 시스템에 비해 인간 평가에서 상당한 개선을 보이고 있다.

ABSTRACT

Neural Machine Translation (NMT) is an end-to-end learning approach for automated translation, with the potential to overcome many of the weaknesses of conventional phrase-based translation systems. Unfortunately, NMT systems are known to be computationally expensive both in training and in translation inference. Also, most NMT systems have difficulty with rare words. These issues have hindered NMT's use in practical deployments and services, where both accuracy and speed are essential. In this work, we present GNMT, Google's Neural Machine Translation system, which attempts to address many of these issues. Our model consists of a deep LSTM network with 8 encoder and 8 decoder layers using attention and residual connections. To improve parallelism and therefore decrease training time, our attention mechanism connects the bottom layer of the decoder to the top layer of the encoder. To accelerate the final translation speed, we employ low-precision arithmetic during inference computations. To improve handling of rare words, we divide words into a limited set of common sub-word units ("wordpieces") for both input and output. This method provides a good balance between the flexibility of "character"-delimited models and the efficiency of "word"-delimited models, naturally handles translation of rare words, and ultimately improves the overall accuracy of the system. Our beam search technique employs a length-normalization procedure and uses a coverage penalty, which encourages generation of an output sentence that is most likely to cover all the words in the source sentence. On the WMT'14 English-to-French and English-to-German benchmarks, GNMT achieves competitive results to state-of-the-art. Using a human side-by-side evaluation on a set of isolated simple sentences, it reduces translation errors by an average of 60% compared to Google's phrase-based production system.

연구 동기 및 목표

• 초기 신경망 기계 번역의 약점 해결: 학습/추론 속도, 희귀 단어 처리, 불완전한 소스-타깃 커버리지.
• 정확도와 학습 속도 향상을 위해 심층 LSTM 계층과 잔차 연결을 갖춘 생산 준비된 GNMT 시스템을 개발한다.
• 서브워드 단위(워드피스)를 통해 희귀 단어 처리 개선과 길이 정규화 및 커버리지 페널티를 갖춘 강력한 빔 탐색을 갖춘다.
• 모델/양자화 기법과 하드웨어(TPU) 최적화를 이용한 추론 속도 증가.
• 표준 벤치마크에서 경쟁력 있는 성능 및 구절 기반 시스템에 비해 상당한 인간 평가상의 향상을 시연한다.

제안 방법

• 잔차 연결을 갖춘 8-layer 인코더와 8-layer 디코더 깊은 LSTM 스택을 사용한다.
• 동시성은 유지하면서 맥락을 최대화하기 위해 양방향 하부 인코더 레이어를 적용한다.
• 희귀 단어 처리용으로 소스와 타깃 언어에 공통으로 사용되는 워드피스 서브워드 유닛을 도입한다.
• 길이 정규화 및 커버리지 페널티가 있는 빔 탐색을 구현한다.
• 최대우도 목적어로 학습하고 필요 시 혼합 ML 및 보상 기반 목적어(GLEU 기반 보상)로 다듬는다.
• 특수 하드웨어에서 디코딩을 가속화하기 위해 8비트 가중치와 16비트 누적기를 사용하는 양자화 추론을 적용한다.

실험 결과

연구 질문

• RQ1 깊고 잔차 연결된 NMT 모델이 서브워드 단위를 사용하면 표준 벤치마크에서 인간 번역 품질에 근접할 수 있는가?
• RQ2 양자화 추론이 번역 품질을 해치지 않으면서 생산급 속도 향상을 가능하게 하는가?
• RQ3 공동 워드피스 표현이 희귀 단어 처리와 전체 BLEU 점수 향상에 단어/문자 기반 기준선과 비교해 개선되는가?
• RQ4 빔 탐색의 커버리지 페널티와 길이 정규화가 언어 간 번역의 완전성 향상에 기여하는가?

주요 결과

• WMT’14 English→French에서, GNMT는 단일 모델로 38.95 BLEU를 달성하여 외부 정렬 모델이 없는 베이스라인보다 7.5 BLEU 높고, 다른 베이스라인을 1.2 BLEU 앞섰다.
• WMT’14 English→German에서 GNMT는 24.17 BLEU를 기록하며 경쟁적 기존 베이스라인보다 약 3.4 BLEU 더 높다.
• 사람 간 대조 평가에서 GNMT는 English↔French, English↔Spanish, English↔Chinese 페어에서 구글의 구문 기반 생산 시스템에 비해 번역 오류를 60% 감소시켰다.
• 생산 데이터 결과는 선택된 언어 쌍에서 품질이 평균적인 인간 번역가의 수준에 근접함을 시사한다(논문의 주장에 따라).
• 워드피스 기반 모델은 어휘의 유연성과 디코딩 효율의 균형을 효과적으로 맞추어 순수한 어휘 기반이나 문자 기반 접근법에 비해 BLEU를 개선한다.
• 양자화 추론은 CPU, GPU, TPU 배치를 통해 비교한 결과 번역 품질 손실이 거의 없거나 없으면서 더 빠른 디코딩을 가능하게 한다.