[논문 리뷰] Understanding Knowledge Distillation in Non-autoregressive Machine Translation

Chunting Zhou, Graham Neubig외 1명|arXiv (Cornell University)|2019. 11. 07.

Natural Language Processing Techniques참고 문헌 41인용 수 33

한 줄 요약

이 논문은 왜 시퀀스 수준 지식 증류가 비자기회귀 번역(NAT)에 도움이 되는지 분석하고, 증류된 데이터의 복잡도가 NAT 성능에 어떤 영향을 미치는지 보여준 뒤, 데이터의 복잡도를 NAT 용량에 맞추어 상태-오브-더-아트 결과를 달성하는 방법을 제안합니다.

ABSTRACT

Non-autoregressive machine translation (NAT) systems predict a sequence of output tokens in parallel, achieving substantial improvements in generation speed compared to autoregressive models. Existing NAT models usually rely on the technique of knowledge distillation, which creates the training data from a pretrained autoregressive model for better performance. Knowledge distillation is empirically useful, leading to large gains in accuracy for NAT models, but the reason for this success has, as of yet, been unclear. In this paper, we first design systematic experiments to investigate why knowledge distillation is crucial to NAT training. We find that knowledge distillation can reduce the complexity of data sets and help NAT to model the variations in the output data. Furthermore, a strong correlation is observed between the capacity of an NAT model and the optimal complexity of the distilled data for the best translation quality. Based on these findings, we further propose several approaches that can alter the complexity of data sets to improve the performance of NAT models. We achieve the state-of-the-art performance for the NAT-based models, and close the gap with the autoregressive baseline on WMT14 En-De benchmark.

연구 동기 및 목표

• 지식 증류가 NAT 모델의 성능을 향상시키는 이유를 조사한다.
• 병렬 데이터의 복잡도와 신의성(faithfulness)을 정량화하는 지표를 개발한다.
• AT 교사와 NAT 학생 간의 NAT 용량과 증류된 데이터의 복잡도 사이의 관계를 분석한다.
• 데이터 증류 및 학습 튜닝을 통해 NAT 용량에 더 잘 맞추고 자회귀 모델과의 격차를 줄인다.

제안 방법

• 증류에 의한 모드 감소를 시각화하기 위해 합성 다중 모달 데이터를 사용한다.
• 병렬 데이터의 복잡도(조건 엔트로피)와 신의성(KL-발산) 지표를 정의한다.
• 실제 데이터와 증류 데이터를 이용해 WMT14 En-De에서 4개 AT 교사와 6개 NAT 학생을 체계적으로 평가한다.
• AT 교사가 디코딩에서 어떤 전략을 사용할 때 NAT 결과에 미치는 영향을 분석한다.
• 증류 데이터의 복잡도 조정에 대해 BANs, MoE, 그리고 시퀀스 수준 보간 등 개선 방법을 실험한다.

실험 결과

연구 질문

• RQ1 지식 증류가 출력 모드를 어떻게 감소시키고 이 감소를 어떻게 정량화할 수 있는가?
• RQ2 NAT 모델 용량과 증류 데이터의 최적 복잡도 간의 관계는 무엇인가?
• RQ3 다양한 AT 교사 및 증류 전략이 NAT 성능 향상에 서로 다른 효과를 내는가?
• RQ4 증류된 데이터를 수정하여 NAT 용량에 더 잘 맞추고 AT-NAT 성능 격차를 줄일 수 있는가?

주요 결과

• 증류가 데이터 복잡도(조건 엔트로피)를 감소시키고 원래 분포에 대한 신의성(imfaithfulness)을 증가시켜 NAT 성능과 상관관계가 생긴다.
• 용량이 더 큰 AT 교사는 증류 데이터의 복잡도가 더 높고, 이에 따라 이런 데이터로 학습한 NAT 모델이 더 나은 BLEU를 달성하는 경향이 있다.
• 빔 탐색 증류가 NAT 성능에 대해 복잡도 감소와 신의성의 가장 유리한 균형을 제공한다.
• NAT 모델은 적절히 일치하는 AT 교사 용량의 증류 데이터에서 가장 잘 작동하며, 예를 들어 vanilla NAT는 작은 Transformer로부터의 증류 데이터로 탁월하고, LevT는 큰 Transformer로부터의 증류 데이터에서 이점을 얻는다.
• 최첨단 NAT 결과는 증류 데이터를 통해 달성되며, LevT 및 LevT-big은 적절히 증류된 데이터를 사용할 때 WMT14 En-De에서 자회귀 기준선과의 격차를 거의 좁힐 수 있다.
• BANs, MoE 기반 증류, 시퀀스 수준 보간과 같은 개선은 데이터의 복잡도와 신의성을 모델 용량에 맞춰 더 향상시켜 NAT 성능을 높인다.