[논문 리뷰] Understanding and Improving Lexical Choice in Non-Autoregressive Translation

Liang Ding, Longyue Wang외 4명|arXiv (Cornell University)|2020. 12. 29.

Natural Language Processing Techniques참고 문헌 40인용 수 44

한 줄 요약

본 논문는 자기회귀 교사로부터의 지식 증류가 NAT의 어휘 선택에 편향을 주는 방식, 특히 저빈도 단어에 대해 어떻게 영향을 주는지 분석하고, KL 발산을 이용한 원시 데이터 정보를 반영한 사전으로 어휘 정확도와 BLEU를 여러 언어 쌍에서 향상시키는 방법을 제시한다.

ABSTRACT

Knowledge distillation (KD) is essential for training non-autoregressive translation (NAT) models by reducing the complexity of the raw data with an autoregressive teacher model. In this study, we empirically show that as a side effect of this training, the lexical choice errors on low-frequency words are propagated to the NAT model from the teacher model. To alleviate this problem, we propose to expose the raw data to NAT models to restore the useful information of low-frequency words, which are missed in the distilled data. To this end, we introduce an extra Kullback-Leibler divergence term derived by comparing the lexical choice of NAT model and that embedded in the raw data. Experimental results across language pairs and model architectures demonstrate the effectiveness and universality of the proposed approach. Extensive analyses confirm our claim that our approach improves performance by reducing the lexical choice errors on low-frequency words. Encouragingly, our approach pushes the SOTA NAT performance on the WMT14 English-German and WMT16 Romanian-English datasets up to 27.8 and 33.8 BLEU points, respectively. The source code will be released.

연구 동기 및 목표

• 지식 증류가 NAT 모델의 어휘 선택에 어떤 영향을 미치는지, 특히 저빈도 단어에 초점을 맞춰 파악한다.
• 새로운 AoLC 지표를 통해 언어 쌍 간 어휘 선택을 정량적으로 평가한다.
• 유용한 저빈도 어휘 정보를 보존하기 위해 원시 데이터에서 파생된 데이터 의존적 사전을 제안한다.
• 원시 데이터 사전을 통합한 KL 기반 학습 목표를 표준 NAT 학습과 함께 활용하는 방법을 개발한다.
• 다양한 NAT 아키텍처와 다수의 데이터 세트에서 강건성을 입증한다.

제안 방법

• 소스 단어당 어휘 번역 정확도를 측정하기 위해 AoLC(Accuracy of Lexical Choice)를 정의한다.
• KD가 전체 AoLC를 향상시키지만 저빈도 단어의 AoLC에는 해를 끼칠 수 있음을 보인다.
• 원시 데이터로부터 얻은 두 가지 양방향 데이터 의존적 사전(WAD, SDD)을 도입한다.
• 사전을 KL 발산 항 L_prior를 통해 NAT 손실과 결합하고 감소하는 모방 비율 λ로 결합한다.
• 원시 데이터와 증류 데이터를 모두 사용해 학습하고 En-De, Ro-En, Zh-En, Ja-En에서 MaskPredict와 Levenshtein Transformer로 평가한다.
• WAD와 SDD의 결합이 KD 기준선에 비해 BLEU와 AoLC에서 일관된 이득을 제공함을 보인다.

실험 결과

연구 질문

• RQ1 AT 교사로부터의 KD가 NAT 모델에 저빈도 어휘 오류를 전파하는가?
• RQ2 데이터 의존적 사전을 통해 NAT 모델에 원시 데이터에 노출시키는 것이 저빈도 어휘 정보를 회복할 수 있는가?
• RQ3 양방향 사전(WAD, SDD)이 다수의 언어 쌍 및 다양한 NAT 아키텍처에서 어휘 선택과 전반적 번역 품질을 개선하는가?
• RQ4 이러한 사전이 AoLC와 저빈도 토큰 재현에 어떤 영향을 미치며 BLEU를 보존하거나 개선하는가?

주요 결과

• KD는 전반적 어휘 정확도(AoLC)를 향상시키지만 교사 품질이 향상될수록 저빈도 단어의 AoLC를 악화시킬 수 있다.
• 원시 데이터 사전으로 학습된 NAT 모델은 En-De, Zh-En, Ja-En에서 AoLC와 BLEU가 모두 증가한다.
• WAD와 SDD를 함께 결합하면 KD 기준선에 비해 AoLC와 BLEU에서 가장 큰 향상을 얻는다.
• 저빈도 토큰의 정확도가 크게 향상되며(저빈도 토큰의 평균 AoLC +3.2 증가), 번역에서 더 많은 저빈도 토큰이 재현된다.
• 인간 평가에서도 어휘 선택 오류가 감소하고 저빈도 단어의 처리 능력이 향상된다.
• 제안된 사전은 정렬자와 정렬 노이즈가 약한 경우에도 KD 기준선보다 견고하게 작동한다.