[논문 리뷰] Data Diversification: A Simple Strategy For Neural Machine Translation

Xuan-Phi Nguyen, Shafiq Joty외 2명|arXiv (Cornell University)|2019. 11. 05.

Natural Language Processing Techniques참고 문헌 38인용 수 44

한 줄 요약

본 논문은 Data Diversification을 제안합니다. 이는 여러 개의 forward 및 backward NMT 모델을 사용하여 합성 데이터를 생성하는 간단한 학습 데이터 보강 방법으로, 추가 모노링구얼 데이터 없이도 다수의 WMT/IWSLT 작업에서 BLEU 점수를 향상시킵니다.

ABSTRACT

We introduce Data Diversification: a simple but effective strategy to boost neural machine translation (NMT) performance. It diversifies the training data by using the predictions of multiple forward and backward models and then merging them with the original dataset on which the final NMT model is trained. Our method is applicable to all NMT models. It does not require extra monolingual data like back-translation, nor does it add more computations and parameters like ensembles of models. Our method achieves state-of-the-art BLEU scores of 30.7 and 43.7 in the WMT'14 English-German and English-French translation tasks, respectively. It also substantially improves on 8 other translation tasks: 4 IWSLT tasks (English-German and English-French) and 4 low-resource translation tasks (English-Nepali and English-Sinhala). We demonstrate that our method is more effective than knowledge distillation and dual learning, it exhibits strong correlation with ensembles of models, and it trades perplexity off for better BLEU score. We have released our source code at https://github.com/nxphi47/data_diversification

연구 동기 및 목표

• NMT 성능 향상을 위한 비개입적 데이터 증강 전략의 동기를 제시한다.
• 앞방향/역방향 모델로부터 합성 데이터를 생성하는 다양성 프레임워크를 개발한다.
• 높은 자원 언어쌍과 낮은 자원 언어쌍에서 방법을 평가하고 관련 접근법과 비교한다.

제안 방법

• 평면 데이터에서 다수의 앞방향 및 역방향 NMT 모델을 훈련한다.
• 앞방향 및 역방향 모델로 S와 T를 번역하여 합성 번역을 생성한다.
• 다양성 요소(k, N)에 걸친 여러 라운드에서 양방향의 합성 데이터를 원래 데이터 세트에 추가한다.
• 모델 매개변수를 늘리지 않고 증강된 데이터 세트에서 최종 S→T 모델을 훈련한다.
• 앙상블과의 상관 관계, perplexity vs BLEU, 초기화 및 forward-translation의 영향 분석.

실험 결과

연구 질문

• RQ1 데이터 다양화가 추가 모노링구얼 데이터나 아키텍처 변화 없이 MT 품질을 향상시킬 수 있는가?
• RQ2 다양화가 모델 앙상블 및 perplexity와 BLEU 간의 관계에 어떻게 관련되는가?
• RQ3 다양성 매개변수(k, N)가 작업 간 성능에 미치는 영향은 어떤가?
• RQ4 데이터 다양화에서 forward-translation이 backward-translation만큼 이득이 있는가?
• RQ5 모노링구얼 데이터가 있을 때 이 방법이 back-translation을 보완하는가?

주요 결과

방법	WMT’14 En-De BLEU	WMT’14 En-Fr BLEU
Baseline Transformer	28.4	41.8
Our Data Diversification with Scale Transformer	30.7	43.7

• WMT’14 En-De (30.7) 및 En-Fr (43.7)에서 Scale Transformer로 SOTA BLEU를 달성하며, 기존 비개입적 방법을 능가한다.
• 4개의 IWSLT 작업 및 4개의 저자원 작업에서 1.0–2.0 BLEU의 이득을 제공하며, 일부 설정에서 백트랜스레이션 기반 기준치를 능가하는 경우가 있다.
• 지식 증류와 다중 에이전트 이중 학습을 능가하며, 앙상블과의 강한 상관 관계를 보이나 추론 비용 증가가 필요하지 않다.
• 데이터 다양화는 일부 perplexity를 희생하고도 더 높은 BLEU를 제공하여, 검증 perplexity가 다소 높아짐에도 일반화가 향상됨을 보여준다.
• Forward diversification이 일반적으로 backward보다 더 큰 이득을 주며, 양방향 다양화가 테스트된 변형들 중 최상의 결과를 제공한다.
• 하이퍼파라미터 연구에서 k를 증가시키면 포화 지점까지 이득이 증가하는 반면, N을 증가시키면 비용에 비해 수익이 감소하는 경향이 있다.
• Back-translation과 보완적이며, 모노링구얼 데이터가 추가될 경우 데이터 다양화가 BT 단독보다 더 큰 BLEU 이득을 추가한다.