[논문 리뷰] Domain, Translationese and Noise in Synthetic Data for Neural Machine Translation

Nikolay Bogoychev, Rico Sennrich|arXiv (Cornell University)|2019. 11. 06.

Natural Language Processing Techniques참고 문헌 45인용 수 41

한 줄 요약

이 논문은 신경 기계 번역에서 순방향 번역과 역방향 번역을 데이터 증강으로 분석하여, 테스트 데이터의 원래 언어, 번역체, 데이터 품질이 BLEU와 인간 평가에 함께 영향을 준다는 것을 보여주며; 순방향 번역은 원어 소스 텍스트에서 자주 도움이 되고 역방향 번역은 더 유창한 출력을 산출한다.

ABSTRACT

The quality of neural machine translation can be improved by leveraging additional monolingual resources to create synthetic training data. Source-side monolingual data can be (forward-)translated into the target language for self-training; target-side monolingual data can be back-translated. It has been widely reported that back-translation delivers superior results, but could this be due to artefacts in the test sets? We perform a case study using French-English news translation task and separate test sets based on their original languages. We show that forward translation delivers superior gains in terms of BLEU on sentences that were originally in the source language, complementing previous studies which show large improvements with back-translation on sentences that were originally in the target language. To better understand when and why forward and back-translation are effective, we study the role of domains, translationese, and noise. While translationese effects are well known to influence MT evaluation, we also find evidence that news data from different languages shows subtle domain differences, which is another explanation for varying performance on different portions of the test set. We perform additional low-resource experiments which demonstrate that forward translation is more sensitive to the quality of the initial translation system than back-translation, and tends to perform worse in low-resource settings.

연구 동기 및 목표

• Synthetic data from forward and back-translation가 NMT 성능에 미치는 영향을 조사한다.
• 원본 테스트 세트(Original)와 번역체 테스트 세트(Reverse)로 부분을 나누어 합성 데이터의 개선 효과를 모듈화한다.
• 도메인 및 번역체 효과와 합성 데이터 품질이 증강 방향과 어떻게 상호 작용하는지 탐구한다.
• 증강 MT 시스템에서 BLEU가 인간 판단과 일치하는지 평가한다.

제안 방법

• 순방향 번역 및 역방향 번역에 의해 생성된 합성 데이터를 사용해 프랑스어→영어 이중언어 MT 시스템을 학습하고, Transformer 및 RNN 기본 모델을 비교한다.
• 테스트 세트를 Original(French 원문 생성)과 Reverse(번역체 French) 부분으로 분할하여 방향별 BLEU를 평가한다.
• 일부에 대해 사람 평가를 수행해 시스템 간 적합성 및 유창성을 비교한다.
• 번역체와 도메인 효과를 구분하기 위해 언어 모델 실험을 수행한다.
• 에스토니아어→영어 및 핀란드어→영어로 일반화 가능성을 테스트해 데이터 품질 민감도를 분석한다.

실험 결과

연구 질문

• RQ1 Original 부분에서 forward 번역이 back-translation보다 우수하고, Reverse 부분에서 그 반대가 나타나는가?
• RQ2 번역체와 도메인 차이가 forward와 back-translation 간의 성능 차이를 설명하는가?
• RQ3 합성 데이터 생성기의 품질이 forward와 back-translation의 상대적 이익에 어떤 영향을 주는가?
• RQ4 자동 BLEU 점수가 합성 데이터 증강 방법 전반에서 인간 판단과 일치하는가?
• RQ5 합성 데이터로 학습된 모델이 문장의 원래 소스-도메인을 신뢰할 수 있게 예측할 수 있는가?

주요 결과

시스템	2008	2009	2010	2011	2012	2013
Original (French source) Baseline	29.4	44.2	32.9	32.3	37.3	47.4
Original (French source) BT_transformer	28.0	41.8	30.0	30.3	34.0	45.8
Original (French source) BT_rnn	29.3	42.2	31.7	31.5	34.6	46.9
Original (French source) FWD_transformer	29.0	43.8	32.3	32.4	36.4	49.0
Original (French source) FWD_rnn	30.9	45.1	32.0	33.1	38.3	48.3
Reverse (Translationese French source) Baseline	29.1	29.6	37.3	45.3	34.5	35.4
Reverse (Translationese French source) BT_transformer	31.6	32.9	42.6	50.8	39.3	39.5
Reverse (Translationese French source) BT_rnn	32.1	33.4	43.3	50.5	39.0	38.4
Reverse (Translationese French source) FWD_transformer	28.0	28.7	36.7	44.5	33.7	35.2
Reverse (Translationese French source) FWD_rnn	27.5	28.1	36.0	43.0	33.0	33.9
Full test set Baseline	29.2	37.3	35.2	38.8	35.9	41.6
Full test set BT_transformer	30.0	37.6	36.1	40.7	36.8	42.9
Full test set BT_rnn	30.9	38.1	37.3	40.5	36.9	42.5
Full test set FWD_transformer	28.5	36.7	34.4	38.5	35.0	42.2
Full test set FWD_rnn	29.0	37.1	33.9	38.0	35.6	41.5

• Forward translation은 Original French 원문 부분에서 AISBLEU가 back-translation보다 종종 더 높다.
• Back-translation은 방향에 관계없이 인간 판단에서 더 높은 유창성을 제공하는 경향이 있다.
• BLEU 차이는 테스트 세트의 원어에 따라 크게 나타날 수 있으며, 인간의 적합성은 차이가 더 작다.
• 언어 모델 분석은 번역체와 도메인 차이가 관찰된 효과에 기여하며, EN↔FR 변형에서 효과의 균형이 나타날 때도 있다.
• Forward translation은 초기 번역 시스템의 품질에 더 민감하며, 합성 데이터의 품질이 매우 낮을 때 forward 번역의 이득이 더 크게 감소한다.