[논문 리뷰] Data Diversification: An Elegant Strategy For Neural Machine Translation.

Xuan-Phi Nguyen, Shafiq Joty외 2명|arXiv (Cornell University)|2019. 11. 05.

Natural Language Processing Techniques인용 수 10

한 줄 요약

이 논문은 신경 기계 번역(NMT) 성능을 햖을 때 추가적인 단언어 데이터나 모델 앙상블을 요구하지 않고도 효과적으로 향상시키는 간단한 전략인 데이터 다원화를 제안한다. 이 전략은 동일한 병렬 단언어 데이터를 기반으로 여러 방향 및 역방향 NMT 모델의 예측을 활용하여 훈련 데이터를 증강한 후, 원본 데이터셋과 병합한다. 이 방법은 WMT'14 영어-독일어 및 영어-프랑스어 번역 작업에서 각각 30.7과 43.7의 최신 기준 BLEU 점수를 달성하며, 추가적인 단언어 데이터나 모델 복잡도 증가 없이도 성능을 향상시킨다.

ABSTRACT

We introduce Data Diversification: a simple strategy to boost neural machine translation (NMT) performance. It diversifies the training data by using the predictions of multiple forward and backward models and then merging them with the original dataset on which the final NMT model is trained. Our method is applicable to all NMT models. It does not require extra monolingual data like back-translation, nor does it add more computations and parameters like ensembles of models. In the experiments, our method achieves state-of-the-art BLEU score of 30.7 & 43.7 in the WMT'14 English-German & English-French tasks. It also substantially improves on 8 other translation tasks: 4 IWSLT tasks (English-German and English-French) and 4 low-resource translation tasks (English-Nepali and English-Sinhala). We demonstrate that our method is more effective than knowledge distillation and dual learning, it exhibits strong correlation with ensembles of models, and it trades perplexity off for better BLEU score. We have released our source code at https://github.com/nxphi47/data_diversification

연구 동기 및 목표

• 추가적인 단언어 데이터나 모델 앙상블에 의존하지 않고 신경 기계 번역(NMT) 성능을 향상시키는 것.
• 저자원 및 표준 번역 환경에서 기존의 데이터 증강 기법(예: 역번역, 지식 정복)의 한계를 해결하는 것.
• 모델에 종속되지 않는 경량 전략을 개발하여 훈련 데이터의 다양성을 높이면서도 추론 효율성을 유지하는 것.
• 저자원 및 IWSLT 벤치마크를 포함한 다양한 번역 작업에서 일관된 성능 향상을 입증하는 것.
• 모델 앙상블과 강한 상관관계를 가지지만 그에 따른 계산적 및 파rameter 부담을 피하는 방법을 확립하는 것.

제안 방법

• 동일한 병렬 단언어 데이터를 기반으로 여러 방향 및 역방향 NMT 모델을 훈련시켜 합성 번역 쌍을 생성한다.
• 이러한 모델의 예측 결과를 활용해 최종 NMT 모델을 위한 다양한 고품질 훈련 예제를 만든다.
• 합성 데이터를 원본 병렬 훈련 데이터와 병합하여 증강된 훈련 세트를 구성한다.
• 최종 NMT 모델은 실제 데이터와 모델이 생성한 번역 결과를 모두 포함한 병합된 데이터셋을 기반으로 훈련된다.
• 이 방법은 모델에 종속되지 않으며 아키텍처 변경이나 추가 파rameter가 필요하지 않다.
• 직접 다양한 모델 예측 예측 결과를 훈련 데이터에 직접 풍부하게 하여 역번역이나 지식 정복의 필요성을 피한다.

실험 결과

연구 질문

• RQ1 추가적인 단언어 데이터나 모델 앙상블 없이 데이터 다원화가 NMT 성능 향상에 기여할 수 있는가?
• RQ2 성능 향상과 훈련 효율성 측면에서 제안된 방법이 지식 정복이나 듀얼 러닝과 비교해 어떻게 다를 수 있는가?
• RQ3 데이터 다원화가 모델 앙상블 성능과 얼마나 강한 상관관계를 가지는가?
• RQ4 이 방법은 저자원 및 IWSLT 벤치마크를 포함한 다양한 번역 작업에 일반화되는가?
• RQ5 데이터 다원화가 퍼즐러피티를 약간 증가시키는 대가로 BLEU 점수를 높여, 더 나은 일반화 능력을 보여주는가?

주요 결과

• 데이터 다원화는 WMT'14 영어-독일어 번역 작업에서 최신 기준 BLEU 점수 30.7을 달성한다.
• WMT'14 영어-프랑스어 번역 작업에서 BLEU 점수 43.7을 기록하며 기존 방법들을 능가한다.
• 이 방법은 4개의 IWSLT 작업과 영어-네팔어, 영어-싱할라어 등 4개의 저자원 설정을 포함한 8개의 추가 번역 작업에서 성능을 크게 향상시킨다.
• 지식 정복이나 듀얼 러닝보다 모델 앙상블 성능과 더 강한 상관관계를 보이며, 이는 강건성과 효과성을 시사한다.
• 퍼즐러피티의 약간의 증가를 감수하면서도 BLEU 점수에 뚜렷한 향상을 보이며, 일반화 능력과 번역 품질 향상의 가능성을 시사한다.
• 이 방법은 다양한 NMT 아키텍처에서 효과적이며 추론 시 추가 파rameter나 계산 오버헤드가 필요하지 않다.