[논문 리뷰] Understanding Knowledge Distillation in Non-autoregressive Machine Translation

Chunting Zhou, Graham Neubig외 1명|arXiv (Cornell University)|2019. 11. 06.

Natural Language Processing Techniques참고 문헌 33인용 수 117

한 줄 요약

논문은 시퀀스 수준 지식 증류가 왜 비자 autoregressive 번역(NAT)에 도움이 되는지 연구하고, 데이터 복잡도 및 충실도 지표를 도입하며, 여러 모델에 걸친 교사-학생 다이내믹을 분석하고, NAT 용량에 맞춘 증류 데이터 조정 방법을 제시하여 WMT14 En-De에서 자 autoregressive 기준에 근접한 NAT 최첨단 결과를 달성한다.

ABSTRACT

Non-autoregressive machine translation (NAT) systems predict a sequence of output tokens in parallel, achieving substantial improvements in generation speed compared to autoregressive models. Existing NAT models usually rely on the technique of knowledge distillation, which creates the training data from a pretrained autoregressive model for better performance. Knowledge distillation is empirically useful, leading to large gains in accuracy for NAT models, but the reason for this success has, as of yet, been unclear. In this paper, we first design systematic experiments to investigate why knowledge distillation is crucial to NAT training. We find that knowledge distillation can reduce the complexity of data sets and help NAT to model the variations in the output data. Furthermore, a strong correlation is observed between the capacity of an NAT model and the optimal complexity of the distilled data for the best translation quality. Based on these findings, we further propose several approaches that can alter the complexity of data sets to improve the performance of NAT models. We achieve the state-of-the-art performance for the NAT-based models, and close the gap with the autoregressive baseline on WMT14 En-De benchmark.

연구 동기 및 목표

• 지식 증류가 NAT 훈련 및 성능을 왜 향상시키는지 조사한다.
• 증류된 데이터가 데이터 복잡도와 번역 모드에 어떤 영향을 미치는지 정량화한다.
• NAT 모델 용량과 최적의 증류 데이터 복잡도 간의 관계를 탐구한다.
• NAT 용량에 맞춰 증류 데이터를 조정하는 방법을 제안하여 자동회귀 모델과의 간극을 줄인다.

제안 방법

• 증류로 인한 모드 감소를 시각화하기 위해 합성 실험을 사용한다.
• 데이터 수준 지표를 정의하고 계산한다: 조건부 엔트로피(복잡도)와 KL-발산 기반 충실도(F(d)).
• 실제 대상과 증류 대상 모두를 사용하여 WMT14 En-De에서 네 개의 AT 교사와 여섯 개의 NAT 학생을 체계적으로 평가한다.
• 디코딩 전략(샘플링, 상위-k 샘플링, 그리디, 빔 탐색)과 이들이 증류 품질에 미치는 영향을 분석한다.
• 데이터 수준 개선(Born-Again Networks, Mixture-of-Experts, 시퀀스 수준 보간)으로 증류 데이터의 복잡도와 충실도를 조정하는 실험을 수행한다.
• 모델 전반에 걸친 NAT 용량, 증류 데이터 복잡도, 번역 품질 간의 상관관계를 보고한다.

실험 결과

연구 질문

• RQ1 지식 증류가 NAT 출력의 멀티모달리티를 어떻게 감소시키며 왜 이것이 NAT 훈련에 도움이 되는가?
• RQ2 NAT 모델 용량과 증류 학습 데이터의 최적 복잡도 사이의 관계는 무엇인가?
• RQ3 디코딩 방법, BANs, MoE, 보간(interpolation)을 통해 증류 데이터를 바꾸면 NAT와 자동회귀 모델 간의 성능 격차를 더 좁힐 수 있는가?

주요 결과

• 증류는 출력 모드와 복잡도를 줄이고, 더 높은 용량의 NAT 모델은 최적 성능을 위해 더 복잡한 증류 데이터가 필요하다.
• 더 높은 용량의 교사는 실제 데이터에 대한 더 큰 복잡도와 더 나은 충실도를 가진 증류 데이터를 생성하여 NAT BLEU를 높인다.
• 빔 탐색 증류가 충실도를 유지하면서 데이터 복잡도를 가장 효과적으로 감소시켜 NAT 성능을 향상시킨다.
• 약한 NAT 모델은 더 간단한 복잡도의 증류 데이터에서 이익을 얻고, 강한 NAT 모델은 더 복잡한 증류 데이터의 이익을 본다.
• Born-Again Networks와 mixture-of-experts는 증류 데이터를 조정해 복잡도를 줄이거나 충실도를 높여 NAT 결과를 향상시킨다.
• 간단한 데이터 수준 보간(높은 BLEU를 가지는 빔 가설 선택)이 특정 모델에서 NAT 성능을 더 향상시킬 수 있다.