[논문 리뷰] Fine-Tuning by Curriculum Learning for Non-Autoregressive Neural Machine Translation

Junliang Guo, Xu Tan외 4명|arXiv (Cornell University)|2019. 11. 20.

Natural Language Processing Techniques참고 문헌 37인용 수 8

한 줄 요약

이 논문은 사전에 훈련된 자동회귀 번역(AT) 모델로부터 점진적으로 지식을 전이함으로써 비자기회적 신경 번역(NAT)의 정확도를 향상시키기 위해 커리큘럼 학습 기반의 미세조정 방법을 제안한다. 디코더 입력과 어텐션 마스크의 제어된 커리큘럼 스케줄링을 통해 점차 자동회귀에서 비자기회적 디코딩으로 전환함으로써, 이 방법은 여러 벤치마크에서 1 BLEU 이상의 성능 향상을 달성하며, 동시에 AT 모델 대비 10배 이상의 빠른 추론 속도를 유지한다.

ABSTRACT

Non-autoregressive translation (NAT) models remove the dependence on previous target tokens and generate all target tokens in parallel, resulting in significant inference speedup but at the cost of inferior translation accuracy compared to autoregressive translation (AT) models. Considering that AT models have higher accuracy and are easier to train than NAT models, and both of them share the same model configurations, a natural idea to improve the accuracy of NAT models is to transfer a well-trained AT model to an NAT model through fine-tuning. However, since AT and NAT models differ greatly in training strategy, straightforward fine-tuning does not work well. In this work, we introduce curriculum learning into fine-tuning for NAT. Specifically, we design a curriculum in the fine-tuning process to progressively switch the training from autoregressive generation to non-autoregressive generation. Experiments on four benchmark translation datasets show that the proposed method achieves good improvement (more than $1$ BLEU score) over previous NAT baselines in terms of translation accuracy, and greatly speed up (more than $10$ times) the inference process over AT baselines.

연구 동기 및 목표

• 비자기회적(NAT)과 자동회귀(AT) 신경 번역 모델 간의 정확도 격차를 해소하기 위해.
• 훈련 전략이 상이한 점을 감안할 때도 잘 훈련된 AT 모델에서 NAT 모델로의 효과적인 지식 전이를 가능하게 하기 위해.
• 점진적인 커리큘럼을 도입하여 AT에서 NAT 생성으로 점차 전환함으로써 NAT 모델 성능을 향상시키기 위해.
• NAT 모델에서 타겟 문맥의 손실로 인한 번역 품질 저하를 줄이기 위해.
• 구조적인 지식 정련을 통해 추론 속도와 번역 정확도 사이의 더 나은 트레이드오���을 달성하기 위해.

제안 방법

• 미세조정 중에 AT 디코더 입력(이전 타겟 토큰)을 NAT 디코더 입력(소스 복사 또는 다른 타겟에 의존하지 않는 신호)으로 점진적으로 대체하는 커리큘럼을 설계한다.
• 어텐션 마스크를 AT 방식(좌측에서 우측)에서 NAT 방식(전체 자기어텐션)으로 단계적으로 전환하며, 초기에는 AT 방식을 사용하고 정해진 단계 이후로는 완전히 NAT로 전환한다.
• 디코더 입력의 대체 비율은 훈련 단계에 따라 단조롭게 증가하며, 최적의 성능을 위해 로그 스케일 패싱 함수를 사용한다.
• 두 가지 대체 전략을 평가한다: 토큰 수준(각 토큰 별 대체)과 문장 수준(전체 문장 대체)이며, 후자가 더 뛰어난 성능을 보였다.
• 전이 과정 중의 중간 상태를 활용하여 AT 모델의 지식을 유지하면서 NAT 설정에 적응하도록 한다.
• 하이브리드 훈련 제도를 사용하여 사전에 훈련된 AT 모델을 미세조정하며, 초기에는 AT 방식으로 시작하여 점차 NAT로 전환한다.

실험 결과

연구 질문

• RQ1 잘 훈련된 자동회귀 모델이 비자기회적 번역 정확도 향상을 위해 효과적으로 미세조정될 수 있는가?
• RQ2 커리큘럼 학습은 자동회귀와 비자기회적 훈련 전략 간 격차를 어떻게 메울 수 있는가?
• RQ3 미세조정 중 자동회귀에서 비자기회적 생성으로 전환할 때 최적의 패싱 함수는 무엇인가?
• RQ4 디코더 입력의 토큰 수준 또는 문장 수준 대체 중 어느 것이 NAT 미세조정에서 더 뛰어난 성능을 낼 수 있는가?
• RQ5 제안된 방법은 명시적 정규화 없이도 비자기회적 출력에서 반복 토큰 생성을 얼마나 줄일 수 있는가?

주요 결과

• 제안된 방법은 IWSLT14 독일-영어 작업에서 최고의 NAT 기준 모델 대비 1.87 BLEU 향상되었고, WMT14 영어-독일어 작업에서는 1.14 BLEU 향상되었다.
• 이전 NAT 기준 모델 대비 네 가지 벤치마크 데이터셋 전반에서 1 BLEU 이상의 향상이 이루어졌다.
• 커리큘럼 스케줄링에 대해 로그 스케일 패싱 함수가 선형 및 단계적 패턴보다 우수한 성능을 보였으며, 높은 대체 비율에 더 오랜 노출이 유리함을 시사한다.
• 토큰 수준의 대체 전략이 문장 수준의 전략보다 유의미하게 뛰어나며, 지식 전이 과정에서 중간 상태 활용의 중요성을 입증한다.
• 명시적 정규화 없이도 기준 NAT 모델 대비 문장당 연속 반복 토큰의 평균 수를 57% 감소시켰다.
• 추론 속도는 자동회귀 기준 모델 대비 10배 이상 빠르며, 경쟁 가능한 번역 품질을 유지한다.