[논문 리뷰] Imitation Learning for Non-Autoregressive Neural Machine Translation

Bingzhen Wei, Mingxuan Wang외 4명|arXiv (Cornell University)|2019. 06. 05.

Natural Language Processing Techniques참고 문헌 21인용 수 31

한 줄 요약

이 논문은 비자기적 신경 기계 번역(NAT)의 성능을 향상시키기 위해 지식이 풍부한 자기적 번역기(autoregressive translator)를 시범자로 활용하여 각 레이어와 시간 단계의 디코딩 상태를 감독하는 이mitation learning 프레임워크, imitate-NAT을 제안한다. 이 방법은 WMT16 Ro→En에서 31.85 BLEU, IWSLT16 En→De에서 30.68 BLEU를 기록하며 자기적 모델에 근접한 번역 품질을 달성하면서도 NAT의 10배 빠른 추론 속도를 유지하여 자동적 모델과의 성능 격차를 효과적으로 해소한다.

ABSTRACT

Non-autoregressive translation models (NAT) have achieved impressive inference speedup. A potential issue of the existing NAT algorithms, however, is that the decoding is conducted in parallel, without directly considering previous context. In this paper, we propose an imitation learning framework for non-autoregressive machine translation, which still enjoys the fast translation speed but gives comparable translation performance compared to its auto-regressive counterpart. We conduct experiments on the IWSLT16, WMT14 and WMT16 datasets. Our proposed model achieves a significant speedup over the autoregressive models, while keeping the translation quality comparable to the autoregressive models. By sampling sentence length in parallel at inference time, we achieve the performance of 31.85 BLEU on WMT16 Ro$ ightarrow$En and 30.68 BLEU on IWSLT16 En$ ightarrow$De.

연구 동기 및 목표

• 비자기적(NAT)과 자기적(AT) 신경 기계 번역 모델 간의 성능 격차를 해소한다.
• NAT 학습에서 지연된 감독과 큰 검색 공간 문제를 극복한다.
• NAT의 높은 추론 속도를 유지하면서도 자동적 모델 수준의 번역 품질을 향상시킨다.
• 지식이 풍부한 AT 모델을 활용해 NAT 디코딩 상태를 안내하는 새로운 이mitation learning 프레임워크를 도입한다.

제안 방법

• 사전에 훈련된 자기적 NMT 모델을 지식이 풍부한 시범자로 활용하여 NAT의 각 디코딩 상태를 감독한다.
• 모든 레이어와 시간 단계에서 시범자의 예측을 사용해 각 디코딩 상태를 감독한다.
• 이mitation learning을 적용하여 NAT 디코더 상태가 최적의 동작으로 향하도록 유도함으로써 지연된 보상에 대한 의존도를 감소시킨다.
• 추론 중에 다양한 문장 길이를 샘플링하기 위해 길이 병렬 디코딩(LPD)을 통합하여 성능을 향상시킨다.
• 행동 분포의 균형을 맞추고 잠재 공간에서의 집합화 편향을 방지하기 위해 카테고리 재분배 기법을 적용한다.
• 추가적인 성능 향상을 위해 이mitation learning 프레임워크를 지식 정착(Knowledge Distillation)과 결합한다.

실험 결과

연구 질문

• RQ1 이mitation learning이 비자기적 및 자기적 신경 기계 번역 모델 간의 성능 격차를 효과적으로 해소할 수 있는가?
• RQ2 지식이 풍부한 자기적 시범자를 사용할 경우 NAT 학습의 안정성과 성능이 어떻게 향상되는가?
• RQ3 길이 병렬 디코딩과 카테고리 재분배 기법이 NAT의 디코딩 품질을 얼마나 향상시킬 수 있는가?
• RQ4 이mitation learning 프레임워크가 지식 정착과 상호보완적으로 작용하여 추가적인 성능 향상을 이끌 수 있는가?

주요 결과

• 제안된 imitate-NAT 모델은 WMT16 Ro→En에서 31.85 BLEU, IWSLT16 En→De에서 30.68 BLEU를 기록하며 자동적 기준 모델의 번역 품질을 매칭하거나 초월한다.
• 길이 병렬 디코딩(LPD)을 적용한 결과, IWSLT16 En→De에서 성능이 2.25 BLEU 포인트 향상되어 28.41에서 30.68 BLEU로 상승한다.
• 지식 정착을 적용하지 않은 imitate-NAT는 지식 정착을 적용한 비-imitation NAT보다 +3.3 BLEU 포인트 높은 성능을 기록한다.
• 카테고리 재분배 기법은 더 균형 잡힌 행동 분포를 만들어 모델 일반화 능력을 향상시키고 잠재 공간의 집합화 편향을 감소시킨다.
• 이mitation learning 프레임워크는 지식 정착과 상호보완적으로 작용하여 비-imitation NAT에 지식 정착을 적용한 경우보다 +3.3 BLEU 포인트의 상당한 성능 향상을 이룬다.
• 자기적 모델 대비 10배의 속도 향상을 유지하면서도 표준 벤치마크에서 최신 수준의 NAT 성능을 달성한다.