[논문 리뷰] The Sockeye 2 Neural Machine Translation Toolkit at AMTA 2020

Tobias Domhan, Michael Denkowski외 4명|arXiv (Cornell University)|2020. 08. 11.

Natural Language Processing Techniques참고 문헌 38인용 수 68

한 줄 요약

Sockeye 2는 연구 및 생산을 위한 최신 Transformer 모델, 8-bit CPU 양자화, 혼합 정밀도 학습으로 학습 및 추론을 가속하는 Gluon MXNet 기반의 NMT 툴킷입니다.

ABSTRACT

We present Sockeye 2, a modernized and streamlined version of the Sockeye neural machine translation (NMT) toolkit. New features include a simplified code base through the use of MXNet's Gluon API, a focus on state of the art model architectures, distributed mixed precision training, and efficient CPU decoding with 8-bit quantization. These improvements result in faster training and inference, higher automatic metric scores, and a shorter path from research to production.

연구 동기 및 목표

• Sockeye 2를 간소화된 MXNet Gluon 기반 NMT 툴킷으로 소개한다.
• 모델 아키텍처, 학습 속도, 추론 효율성의 개선을 제시한다.
• CPU 디코딩을 위한 8-bit 양자화를 시연하고 지연 및 BLEU에 미치는 영향을 제시한다.
• Horovod 및 자동 혼합 정밀도를 통한 학습 강화 기능을 보여준다.
• Transformer 변형, 소스 요소 및 강건성에 대한 실험으로 증거를 제공한다.

제안 방법

• 코드를 단순화하고 유연한 실행 모드( eager vs cached graphs )를 가능하게 하기 위해 Gluon API를 채택한다.
• 최신 Transformer 아키텍처를 실험하고, 깊은 인코더/디코더 구성을 포함한다.
• 입력 변형에 대한 강건성을 높이기 위해 소스 요인과 다양한 임베딩 조합을 도입한다.
• CPU 추론을 위한 8-bit 양자화를 구현하여 지연 시간을 감소시키고 BLEU 손실을 최소화한다.
• 훈련 확장을 위해 Horovod를 분산 학습에 통합하고 AMP를 혼합 정밀도에 적용한다.
• 훈련 효율성과 최종 모델 품질을 개선하기 위해 plateau-reduce 학습 스케줄을 도입한다.

실험 결과

연구 질문

• RQ1 최신 Transformer 아키텍처와 비교했을 때 Sockeye 2는 이전 Sockeye 버전 대비 어떻게 성능을 보이나?
• RQ2 구성에 따라 CPU 8-bit 양자화가 디코딩 지연 및 BLEU 점수에 미치는 영향은 무엇인가?
• RQ3 소스 요인이 대소 문자 및 철자 변이에 대한 강건성을 향상시키는가, 그리고 어떤 임베딩 전략이 가장 효과적인가?
• RQ4 대규모 NMT 모델에서 Horovod 기반 분산 학습과 혼합 정밀도 학습의 효과는 얼마나 되며, plateau-reduce 스케줄링은 기존 스케줄과 어떻게 비교되는가?

주요 결과

• 더 깊은 인코더와 더 얕은 디코더를 가진 Transformer 변형은 BLEU를 경쟁력 있게 달성하면서도 디코딩 지연 시간을 상당히 줄일 수 있다.
• 8-bit 양자화는 CPU에서 비배치 디코딩 시간을 크게 줄이며 BLEU 감소는 최소화된다.
• 소스 요인이 대소문자 변이에 대한 강건성을 향상시키며, 실험에서 특정 요인 전략이 가장 잘 작동한다.
• Plateau-reduce 학습은 보고된 벤치마크에서 Ott et al. (2018) 설정과 비교하여 짧은 학습 시간에 강한 BLEU 점수를 산출한다.
• Horovod 기반 분산 학습과 AMP를 사용하면 학습 효율이 향상되어 더 큰 유효 배치 크기를 허용하고 수렴 속도가 빨라진다.