[논문 리뷰] Fully Non-autoregressive Neural Machine Translation: Tricks of the Trade

Jiatao Gu, Xiang Kong|arXiv (Cornell University)|2020. 12. 31.

Natural Language Processing Techniques참고 문헌 36인용 수 10

한 줄 요약

이 논문은 훈련 데이터, 모델 아키텍처, 훈련 목표 및 학습 전략 전반에 걸쳐 종속성 감소 기법을 통합함으로써 최신 기술 수준의 성능을 달성하는 완전히 비자기적 신경 기계 번역(NAT) 모델을 제안한다. 자기적 트랜스포머 모델 대비 16배 이상의 속도 향상을 기록하며 WMT14 En-De에서 27.49 BLEU를 달성하여 자동적 모델과의 격차를 좁히면서도 병렬 추론을 유지한다.

ABSTRACT

Fully non-autoregressive neural machine translation (NAT) is proposed to simultaneously predict tokens with single forward of neural networks, which significantly reduces the inference latency at the expense of quality drop compared to the Transformer baseline. In this work, we target on closing the performance gap while maintaining the latency advantage. We first inspect the fundamental issues of fully NAT models, and adopt dependency reduction in the learning space of output tokens as the basic guidance. Then, we revisit methods in four different aspects that have been proven effective for improving NAT models, and carefully combine these techniques with necessary modifications. Our extensive experiments on three translation benchmarks show that the proposed system achieves the new state-of-the-art results for fully NAT models, and obtains comparable performance with the autoregressive and iterative NAT systems. For instance, one of the proposed models achieves 27.49 BLEU points on WMT14 En-De with approximately 16.5X speed up at inference time.

연구 동기 및 목표

• 자기적 트랜스포머 모델과의 성능 격차를 해소하면서도 낮은 추론 지연을 유지하는 완전히 비자기적(NAT) 신경 기계 번역 모델을 개선한다.
• NAT에서의 핵심 과제로 출력 토큰 간의 잘못된 독립성 가정이 번역 품질을 떨어뜨리는 종속성 학습 문제를 규명한다.
• 지식 정복, CTC 손실, VAE 기반 훈련, GLAT를 포함한 네 가지 핵심 기법을 통합하여 종속성 감소를 위한 통합 NAT 프레임워크를 체계적으로 탐색하고 통합한다.
• 이러한 방법들을 철저한 아키텍처 및 훈련 수정과 함께 조합함으로써 반복 보정 없이도 자동적 모델 성능에 도달할 수 있음을 입증한다.
• 표준 벤치마크에서 경쟁력 있는 성능을 달성하면서도 고속 병렬 디코딩을 유지함으로써, 반복 보정이 NAT에서 높은 정확도를 위해 필수적이라는 가정을 도전한다.

제안 방법

• 강력한 자기적 교사 모델을 사용해 소프트 타겟을 제공함으로써 NAT 학생 모델의 종속성 학습 부담을 줄이는 지식 정복을 적용한다.
• 에코더 출력의 업샘플링을 통한 CTC 기반 훈련을 도입하여 예측 시퀀스와 기준 시퀀스 간의 정렬을 향상시키고 오류 전파를 줄인다.
• 단조적 정렬 제약 조건을 적용한 VAE 기반 훈련을 채택하여 잠재 공간 모델링의 안정성과 시퀀스 생성 품질을 향상시킨다.
• 최종 추론은 완전히 병렬이지만 학습 과정에서 마스크된 토큰 예측과 반복 보정을 통합한 GLAT 스타일 훈련을 통합한다.
• 이러한 기법들을 심층적인 디코더 헤드와 최적화된 손실 가중치를 포함한 아키텍처 수정과 함께 조합하여 추론 지연을 증가시키지 않으면서도 모델링 능력을 향상시킨다.
• 먼저 지식 정복과 CTC로 사전 훈련하고, 이후 VAE와 GLAT 목표로 미세조정하는 다단계 훈련 전략을 사용하여 점진적으로 정렬과 유창성을 향상시킨다.

실험 결과

연구 질문

• RQ1 반복 보정 없이도 완전히 비자기적 NMT 모델이 자기적 트랜스포머 모델과 유사한 성능을 달성할 수 있는가?
• RQ2 NAT 모델의 학습 공간에서 출력 토큰 간 종속성을 줄이는 데 핵심이 되는 구성 요소는 무엇인가?
• RQ3 지식 정복, CTC 손실, VAE, GLAT는 NAT 성능에 개별적으로나 종합적으로 어떻게 기여하는가?
• RQ4 자기적 모델과의 성능 격차를 유지하면서도 고속 병렬 추론을 보장할 수 있는가?
• RQ5 완전히 비자기적 시스템에서 모델 용량, 지연, 정확도 간의 상충 관계는 무엇이며, 이를 어떻게 최적화할 수 있는가?

주요 결과

• 제안된 완전히 비자기적 모델은 WMT14 En-De에서 27.49 BLEU를 달성하여 강력한 자기적 모델과 유사한 성능을 보이며 동시에 16.5배 빠른 추론 속도를 확보한다.
• 지식 정복은 종속성 감소에 필수적이며 NAT 성능을 크게 향상시키지만 희귀어의 어휘 선택을 억제할 수 있다.
• 업샘플링 비율 λ = 2.5를 사용한 CTC 기반 훈련은 WMT14 En-De에서 최고의 BLEU 점수 26.54를 기록했으며, 다양한 하드웨어에서 지연 영향이 최소한이었다.
• CTC, 정복, VAE, GLAT 기법을 조합하면 기존 비자기 NAT 모델 대비 10점 이상의 BLEU 향상을 이끌어내어 자기적 기준 모델과의 격차를 해소한다.
• GPU 및 CPU에서 높은 속도 향상(16.5배)을 유지하며, GPU 기준으로 샘플당 추론 지연이 오직 17.0ms에 불과하여, 높은 업샘플링 비율에도 불구하고도 성능이 높다.
• 이 방법은 여러 번역 방향으로 일반화되며, 반복 디코딩 없이도 세 가지 표준 벤치마크에서 최신 기술 수준의 성능을 달성한다.