[논문 리뷰] Understanding Back-Translation at Scale

Sergey Edunov, Myle Ott외 2명|arXiv (Cornell University)|2018. 08. 28.

Natural Language Processing Techniques참고 문헌 37인용 수 111

한 줄 요약

이 논문은 신경 기계 번역에서 대규모 역번역(back-translation)을 분석하고 샘플링 또는 노이즈를 가진 빔으로 생성된 합성 소스가 빔/탐욕적 MAP 출력보다 더 강한 학습 신호를 제공하며 공개 데이터와 대형 단문 코퍼스를 사용해 WMT 벤치마크에서 최첨단 결과를 달성한다.

ABSTRACT

An effective method to improve neural machine translation with monolingual data is to augment the parallel training corpus with back-translations of target language sentences. This work broadens the understanding of back-translation and investigates a number of methods to generate synthetic source sentences. We find that in all but resource poor settings back-translations obtained via sampling or noised beam outputs are most effective. Our analysis shows that sampling or noisy synthetic data gives a much stronger training signal than data generated by beam or greedy search. We also compare how synthetic data compares to genuine bitext and study various domain effects. Finally, we scale to hundreds of millions of monolingual sentences and achieve a new state of the art of 35 BLEU on the WMT'14 English-German test set.

연구 동기 및 목표

• 다른 합성 소스 문장 생성 방법이 신경 기계 번역의 역번역에 미치는 영향을 평가한다.
• 다양한 합성 데이터 생성 전략으로부터의 학습 신호와 학습 동역학을 정량화한다.
• 도메인 영향력을 평가하고 합성 데이터와 실제 병렬 말뭉치 간의 차이를 고자원 및 저자원 환경에서 비교한다.
• 수백만 개의 단문으로 역번역을 확장하고 공개 데이터와 벤치마크를 비교한다.

제안 방법

• 실제 병렬 말뭉치로 전방향으로 학습하고 역번역을 위해 생성된 합성 소스 문장을 보강한 Transformer 기반 NMT 모델(Big Transformer)을 훈련한다.
• 합성 소스 생성 방법을 비교한다: greedy, 빔 탐색(빔 크기 5), 무제한 샘플링, 제한 샘플링(top-k=10), 그리고 노이즈를 추가한 빔.
• 훈련 중 합성 데이터의 비율을 달리 적용하고(예: 수천만 쌍 문장까지) 학습 중 병렬 데이터 업샘플링을 조정한다.
• 합성 데이터와 병렬 데이터의 교차 엔트로피 퍼플렉시티를 통해 학습 신호를 측정하고 학습 동역학을 분석한다.
• 모노링구얼 뉴스 데이터로부터의 BT 데이터와 실제 병렬 데이터의 도메인을 대조하여 도메인 영향력을 평가한다.
• 대규모 모놀링구얼 코퍼스(최대 226M 문장)로 실험을 확장하고 크로스-데이터세트 벤치마크(WMT’14 English-German, WMT’14 English-French, WMT’18 English-German)를 수행한다.

실험 결과

연구 질문

• RQ1 합성 소스 생성 방법(샘플링 vs 빔/탐욕)이 NMT 성능에 유의미한 영향을 미치는가?
• RQ2 합성 데이터가 실제 병렬 데이터보다 더 강한 학습 신호를 제공하는가, 그리고 이러한 효과는 자원 조건에 따라 어떻게 달라지는가?
• RQ3 백트랜스레이션에 사용되는 모노링구얼 데이터의 도메인이 인도메인 대 혼합 도메인 테스트 세트의 성능에 어떤 영향을 미치는가?
• RQ4 대규모 모놀링구얼 데이터를 이용한 역번역이 실제 병렬 데이터로 얻을 수 있는 성능 향상을 달성하거나 근접할 수 있는가?
• RQ5 병렬 데이터와 합성 데이터의 스케일링 및 업샘플링이 최종 모델 정확도에 어떤 영향을 미치는가?

주요 결과

• 샘플링 및 노이즈가 있는 빔 생성은 여러 영어-독일어 테스트 세트에서 약 0.8–1.1 BLEU 포인트 정도로 argmax 기반 방법(탐욕/빔)보다 일관되게 우수하다.
• 샘플링이나 노이즈를 더한 합성 데이터가 빔이나 탐욕 검색 데이터보다 훨씬 강한 학습 신호를 제공하며, 엔드-모델 BLEU와 퍼plexity 패턴으로 나타난다.
• 일부 경우 합성 데이터가 실제 병렬 데이터가 제공하는 이익의 큰 부분(최대 83%)을 대략 따라잡을 수 있으며, 특히 도메인이 정렬될 때(bt-news가 새로운stest2012의 BT-비병렬에 접근) 더 가깝다.
• WMT’14 English–German에서 샘플링과 226M 모놀링구얼 문장을 이용한 역번역은 공개 벤치마크 데이터만으로도 새로운 최첨단 35 BLEU(tokenized)를 달성; WMT’14 English–French에서는 45.6 BLEU(tokenized)로 보고된다.
• 여러 BT 모델을 앙상블하고 소스 사본을 필터링한 결과가 WMT’18 English–German에서 강한 성과를 내며 베이스라인 대비 큰 이점을 보였다.
• 전반적으로 샘플링/노이즈가 있는 역번역은 확장성이 좋고 고품질 벤치마크 데이터 없이도 경쟁 가능한 강력한 데이터 증가 전략이다.