[논문 리뷰] AR: Auto-Repair the Synthetic Data for Neural Machine Translation

Shanbo Cheng, Shaohui Kuang외 4명|arXiv (Cornell University)|2020. 04. 05.

Natural Language Processing Techniques참고 문헌 25인용 수 4

한 줄 요약

이 논문은 신경 기계 번역을 위한 합성 평행 데이터의 품질을 향상시키기 위해 백번역 또는 정방향 번역으로 생성된 노이즈가 있는 번역을 보정하는 데 학습하는 seq2seq 기반 프레임워크인 Auto-Repair(AR)를 제안한다. 단일 언어 데이터를 사용해 별도의 원본-원본 및 대상-대상 보정 모델을 훈련시킴으로써 AR은 번역 품질을 크게 향상시키며, WMT14 EN→DE에서 기준 모델 대비 최대 2.07 BLEU 향상과 IWSLT14 DE→EN에서 최대 3.85 BLEU 향상을 달성한다.

ABSTRACT

Compared with only using limited authentic parallel data as training corpus, many studies have proved that incorporating synthetic parallel data, which generated by back translation (BT) or forward translation (FT, or selftraining), into the NMT training process can significantly improve translation quality. However, as a well-known shortcoming, synthetic parallel data is noisy because they are generated by an imperfect NMT system. As a result, the improvements in translation quality bring by the synthetic parallel data are greatly diminished. In this paper, we propose a novel Auto- Repair (AR) framework to improve the quality of synthetic data. Our proposed AR model can learn the transformation from low quality (noisy) input sentence to high quality sentence based on large scale monolingual data with BT and FT techniques. The noise in synthetic parallel data will be sufficiently eliminated by the proposed AR model and then the repaired synthetic parallel data can help the NMT models to achieve larger improvements. Experimental results show that our approach can effective improve the quality of synthetic parallel data and the NMT model with the repaired synthetic data achieves consistent improvements on both WMT14 EN!DE and IWSLT14 DE!EN translation tasks.

연구 동기 및 목표

• 데이터 증강으로부터 성능 향상이 제한되는 합성 평행 데이터의 지속적인 노이즈 문제를 해결하기 위해.
• 반복적 재훈련이나 복잡한 데이터 필터링 없이도 저비용으로 확장 가능한 합성 데이터 품질 향상 방법을 개발하기 위해.
• 기존 NMT 모델과 단일 언어 데이터를 활용해 합성 문장을 직접 보정함으로써 후속 번역 품질을 향상시키기 위해.

제안 방법

• 단일 언어 데이터를 사용해 저품질 합성 문장을 보다 높은 품질로 변환하는 별도의 S2S 및 T2T 자동 보정 모델을 훈련한다.
• 사전 훈련된 S2T 및 T2S 모델을 사용해 단일 언어 소스에서 합성 데이터를 생성한 후, AR 모델을 적용해 이를 정제한다.
• 기존 및 보정된 합성 데이터를 모두 최종 NMT 훈련 과정에 통합하여 진정성 데이터, FT, BT, 보정된 FT/BT 데이터를 모두 조합한다.
• 훈련 중에 Adam 최적화와 함께 웜업 학습률 스케줄링 및 빔 서치 디코딩을 적용한다.
• 개발 세트에서 BLEU, 변화율, 향상 비율 지표를 사용해 보정 품질을 평가하여 원본 합성 데이터 대비 향상 정도를 측정한다.
• 이중 단계 훈련 전략을 적용한다: 먼저 AR 모델을 합성 데이터에서 진정성 문장 쌍으로 훈련한 후, 병합된 데이터로 주 NMT 모델을 미세 조정한다.

실험 결과

연구 질문

• RQ1 seq2seq 기반 자동 보정 모델은 백번역 또는 정방향 번역을 통해 생성된 합성 평행 데이터의 품질을 효과적으로 향상시킬 수 있는가?
• RQ2 합성 데이터를 보정하면 다양한 언어 쌍과 데이터셋에서 NMT 성능 향상이 일관되게 이루어지는가?
• RQ3 AR 모델이 실제로 얼마나 많은 합성 데이터를 수정하는가? 그리고 원본 합성 문장보다 더 높은 BLEU 점수를 확보한 보정 문장의 비율은 얼마인가?
• RQ4 비용이 많이 들지 않는 반복적 재훈련이 필요 없이 AR 프레임워크를 다양한 종류의 합성 데이터에 효율적으로 적용할 수 있는가?
• RQ5 기존 합성 데이터와 보정된 합성 데이터를 함께 사용하면, 오직 기존 합성 데이터만 사용할 경우보다 더 나은 NMT 성능을 달성할 수 있는가?

주요 결과

• BASE + BTR-ADD + FTR-ADD 모델은 WMT14 EN→DE 번역 작업에서 기준 모델 대비 2.07 BLEU 포인트 향상했다.
• IWSLT14 DE→EN 작업에서 최고의 AR 모델은 기준 모델 대비 3.85 BLEU 포인트 향상했고, 강력한 합성 기반 기준 모델(BT+FT) 대비 1.19 BLEU 포인트 향상했다.
• AR 모델은 EN→DE 및 DE→EN 작업 모두에서 합성 데이터의 BLEU 점수를 11점 이상 향상시켜 효과적인 품질 향상 능력을 입증했다.
• 합성 문장의 76% 이상이 AR 모델에 의해 수정되었으며, 이는 변환 패턴을 상당 부분 학습했다는 것을 시사한다.
• 보정된 문장의 69% 이상이 원본 합성 문장 대비 더 높은 문장 수준 BLEU 점수를 확보했으며, 이는 일관된 품질 향상이 이루어졌음을 확인한다.
• 두 작업 전반에서 AR 프레임워크는 기준 모델 대비 평균 2.96 BLEU 포인트 향상했고, 강력한 합성 데이터 기반 기준 모델 대비 0.97 BLEU 포인트 향상했다.