[논문 리뷰] Self-Distillation Mixup Training for Non-autoregressive Neural Machine Translation

Jiaxin Guo, Minghan Wang외 12명|arXiv (Cornell University)|2021. 12. 22.

Machine Learning and Data Classification인용 수 8

한 줄 요약

이 논문은 비자기적(Non-Autoregressive, NAT) 신경 기계 번역(NMT) 모델에 대해 고전적 Self-Distillation Mixup(SDM) 전략의 실패를 해결하기 위해 Pre-Rerank를 자가-분산된 데이터에 적용하고, 필터링된 교사-학생 분산 데이터에서의 피지테이닝을 도입한 개선된 Self-Distillation Mixup Training 전략인 SDMRT를 제안한다. 이 방법은 AT 교사 모델과 NAT 학생 모델 간의 모델링 다양성과 확인 편향을 감소시켜, 기준 모델 대비 0.6–1.2 BLEU 향상과 반복 보정 NAT 모델에서 2배의 추론 속도 향상을 달성한다.

ABSTRACT

Recently, non-autoregressive (NAT) models predict outputs in parallel, achieving substantial improvements in generation speed compared to autoregressive (AT) models. While performing worse on raw data, most NAT models are trained as student models on distilled data generated by AT teacher models, which is known as sequence-level Knowledge Distillation. An effective training strategy to improve the performance of AT models is Self-Distillation Mixup (SDM) Training, which pre-trains a model on raw data, generates distilled data by the pre-trained model itself and finally re-trains a model on the combination of raw data and distilled data. In this work, we aim to view SDM for NAT models, but find directly adopting SDM to NAT models gains no improvements in terms of translation quality. Through careful analysis, we observe the invalidation is correlated to Modeling Diversity and Confirmation Bias between the AT teacher model and the NAT student models. Based on these findings, we propose an enhanced strategy named SDMRT by adding two stages to classic SDM: one is Pre-Rerank on self-distilled data, the other is Fine-Tune on Filtered teacher-distilled data. Our results outperform baselines by 0.6 to 1.2 BLEU on multiple NAT models. As another bonus, for Iterative Refinement NAT models, our methods can outperform baselines within half iteration number, which means 2X acceleration.

연구 동기 및 목표

• 자기적(autoregressive, AT) 모델에 의해 분산된 데이터로 훈련된 비자기적(NAT) 모델에 고전적 Self-Distillation Mixup(SDM)을 직접 적용했을 때의 성능 열등성을 해결하기 위해.
• SDM이 NAT 훈련에서 효과를 발휘하지 못하는 근본 원인을 분석하고, 특히 AT 교사 모델과 NAT 학생 모델 간의 모델링 다양성과 확인 편향의 역할을 규명하기 위해.
• 구조화된 데이터 전처리 및 피지테이닝 단계를 통해 분산 과정을 향상시켜 NAT 모델의 성능을 향상시키기 위해.
• 반복 보정 NAT 모델의 보정 단계 수를 줄여서 추론 속도를 향상시키기 위해.

제안 방법

• 자기-분산된 데이터에 대해 AT 모델을 사용하여 교사-학생 모델 간의 모델링 다양성을 감소시키기 위해 Pre-Rerank 단계를 도입한다.
• AT에 의해 분산된 데이터에 대해 저품질 또는 반복적인 예측을 제거하는 데이터 필터링 전략을 적용하여 확인 편향을 완화한다.
• 원본 데이터와 필터링 및 재정렬된 분산 데이터의 조합을 사용하여 NAT 학생 모델을 피지테이닝하여 일반화 성능을 향상시킨다.
• 재정렬 성능 평가를 위해 AT-Rerank(교사 모델 기반)와 LM-Rerank(언어 모델 기반)을 사용하며, AT-Rerank가 더 뛰어난 성능을 보였다.
• WMT14 및 IWSLT14 데이터셋에서 fairseq를 사용하여 240,000단계의 사전 훈련과 60,000단계의 피지테이닝을 수행한다.
• BLEU 점수, 퍼플렉서티, 토큰 반복 비율을 사용하여 분포의 정밀도와 확인 편향을 분석하기 위해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 왜 고전적 Self-Distillation Mixup(SDM)은 AT에 의해 분산된 데이터로 훈련된 NAT 모델에 직접 적용했을 때 실패하는가?
• RQ2 AT 교사 모델과 NAT 학생 모델 간의 모델링 다양성과 확인 편향은 NAT 훈련에서 SDM의 효과성에 어떤 영향을 미치는가?
• RQ3 Pre-Rerank와 데이터 필터링 단계를 통해 모델링 다양성과 편향을 감소시킴으로써 SDM의 NAT 모델 성능 향상이 가능할까?
• RQ4 SDMRT는 반복 보정 NAT 모델에서 보정 단계 수를 얼마나 줄일 수 있는가?
• RQ5 SDMRT 파이프라인에서 AT-Rerank와 LM-Rerank 중 어느 재정렬 전략이 더 높은 성능을 낼까?

주요 결과

• SDMRT는 WMT14 및 IWSLT14 번역 작업에서 여러 NAT 모델에 대해 기준 모델 대비 0.6–1.2 BLEU 향상을 달성한다.
• WMT14 EN→DE 작업에서 CMLM에 SDMRT를 적용하면 5번의 보정 단계 내에 원래 모델의 성능을 달성하여 표준 10단계 기준 대비 2배의 가속도를 확보한다.
• Pre-Rerank 단계에서 AT-Rerank를 사용할 경우 LM-Rerank보다 더 우수한 성능을 보이며, 특히 CMLM의 경우 기준 모델 대비 0.74 BLEU 향상을 기록한다.
• 피지테이닝 단계에서의 데이터 필터링은 핵심적이다: 교사-분산 데이터에서 저품질 예시 0.84%를 제거함으로써 NAT-CRF 성능이 0.85 BLEU 포인트 향상된다.
• 다시 시험한 결과, 재정렬이 NAT 예측의 평균 퍼플렉서티를 NAT-CRF의 경우 127.59에서 76.55로 감소시켜 원본 데이터 분포에 더 가까워지게 했다.
• NAT-CRF의 경우 반복 토큰 비율이 SDM의 0.937%에서 SDMRT의 0.533%로 감소하여 확인 편향이 감소한 것을 확인했다.