[논문 리뷰] Large-scale Pretraining for Neural Machine Translation with Tens of Billions of Sentence Pairs

Yuxian Meng, Xiangyuan Ren외 5명|arXiv (Cornell University)|2019. 09. 26.

Natural Language Processing Techniques참고 문헌 72인용 수 8

한 줄 요약

이 논문은 기존 데이터셋보다 수십억 배 더 큰 400억 개의 双語 문장 쌍을 대규모 사전 훈련하여 신경 기계 번역(NMT) 성능을 크게 향상시키는 방법을 제안한다. 데이터 노이즈와 훈련 비효율성 등의 과제를 해결하기 위해 파ipelined 사전 훈련 및 미세조정 전략을 사용한다. 이 방법은 WMT17 중국어-영어 벤치마크에서 새로운 SOTA BLEU 점수 32.3을 달성하여 이전 최고 성능 방법보다 +3.2 향상되었다.

ABSTRACT

In this paper, we investigate the problem of training neural machine translation (NMT) systems with a dataset of more than 40 billion bilingual sentence pairs, which is larger than the largest dataset to date by orders of magnitude. Unprecedented challenges emerge in this situation compared to previous NMT work, including severe noise in the data and prohibitively long training time. We propose practical solutions to handle these issues and demonstrate that large-scale pretraining significantly improves NMT performance. We are able to push the BLEU score of WMT17 Chinese-English dataset to 32.3, with a significant performance boost of +3.2 over existing state-of-the-art results.

연구 동기 및 목표

• 기존 데이터셋보다 수십억 배 더 큰 400억 개의 이중어 문장 쌍으로 NMT 시스템을 훈련시킬 경우 번역 성능이 크게 향상되는지 조사하기 위해.
• 대규모 NMT 훈련에서 발생하는 예상치 못한 과제들, 예를 들어 데이터 노이즈, 도메인 외 콘텐츠, 그리고 극도로 긴 훈련 시간을 해결하기 위해.
• 대규모 사전 훈련 환경에서 기존 NMT 기법들인 강화 학습, 일치 재정렬, 다양한 디코딩의 효과성을 평가하기 위해.
• 대규모 사전 훈련 환경에서 중국어 어절 분할이 필수적인지 판단하기 위해.
• 최적의 성능과 수렴 속도를 확보하기 위해 대규모 사전 훈련과 도메인 특화 미세조정을 조합하는 실용적인 파이프라인을 수립하기 위해.

제안 방법

• 파이프라인 훈련 전략을 적용: 먼저 전체 400억 개의 이중어 데이터셋에서 일반화 가능한 표현을 학습하기 위해 사전 훈련을 수행한 후, 도메인 특화 서브셋에서 미세조정을 통해 적응성과 수렴 속도를 향상시킨다.
• 커버리지와 OOV(Out-of-Vocabulary) 비율을 균형 있게 유지하기 위해 5만 개의 어휘를 가진 서브워드 BPE 토크나이저를 사용하여 중국어 어절 분할이 대규모 설정에서 필요로 하지 않도록 한다.
• 미세조정 단계에서 고급 NMT 기법의 조합을 적용한다: 양방향 생성(좌향-우향 및 우향-좌향)을 이용한 일치 재정렬, BLEU 점수 최적화를 위한 강화 학습(RL), n-best 리스트 품질 향상을 위한 다양한 디코딩.
• 노이즈가 많고 도메인 외의 데이터가 포함된 거대한 훈련 세트의 영향을 줄이기 위해 데이터 필터링 및 도메인 인식 샘플링을 구현한다.
• 계산 비용을 관리하고 훈련 속도를 향상시키기 위해 혼합 정밀도 훈련과 분산 데이터 병렬 처리를 사용한다.
• 표준 WMT17 중국어-영어 벤치마크 메트릭을 사용하여 모델 성능을 평가하며, BLEU 점수와 데이터 크기 및 모델 아키텍처에 대한 아블레이션 연구에 중점을 둔다.

실험 결과

연구 질문

• RQ1 400억 개의 이중어 문장 쌍에서 NMT 모델을 훈련시키는 것이 기존 SOTA 시스템에 비해 성능 향상에 기여하는가?
• RQ2 400억 규모의 이중어 데이터셋에서 발생하는 데이터 노이즈와 도메인 외 콘텐츠 문제를 훈련 과정에서 효과적으로 완화할 수 있는가?
• RQ3 대규모 NMT 훈련에서 전체 데이터셋 사전 훈련과 수렴 속도 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 백트랜슬레이션과 단일어 언어 모델 융합과 같은 기존 NMT 기법들이 스케일이 큰 환경에서 여전히 효과적인가, 아니면 성능 저하가 발생하는가?
• RQ5 매우 대규모 이중어 데이터로 NMT 모델을 훈련시킬 경우 중국어 어절 분할이 필수적인가?

주요 결과

• 제안된 대규모 사전 훈련 및 미세조정 파이프라인은 WMT17 중국어-영어 번역 벤치마크에서 새로운 SOTA BLEU 점수 32.3을 달성하여 이전 최고 성능 결과보다 +3.2 향상되었다.
• 전체 400억 데이터셋에서 사전 훈련한 후 도메인 특화 데이터에서 미세조정을 수행한 결과(28.7 BLEU)는 사전 훈련만으로 수행한 결과(24.7 BLEU)보다 유의미하게 높은 성능을 보였으며, 이는 이중 단계 접근의 가치를 입증한다.
• 400억 데이터로 사전 훈련된 모델에 대해 단일어 데이터 증강 기법인 언어 모델 융합과 백트랜슬레이션은 오히려 성능을 떨어뜨리며, 이는 데이터 스케일 불일치 때문일 가능성이 높다.
• 일치 재정렬, 강화 학습, 다양한 디코딩 각각이 점진적인 성능 향상을 기여하며, 이 세 가지 기법의 조합이 가장 높은 BLEU 점수(32.29)를 기록했다.
• 자기 기반 모델은 기본 아키텍처 중에서 가장 높은 성능(30.1 BLEU)을 기록했으며, 어절 기반(29.4) 및 BPE 기반(29.8) 모델보다 뛰어나, 스케일이 클수록 서브워드 또는 문자 수준 토크나이징이 더 효과적임을 시사한다.
• 본 연구는 충분한 훈련 데이터가 확보된 대규모 NMT 환경에서는 중국어 어절 분할이 필요하지 않음을 확인했다. BPE나 문자 수준 토크나이징을 사용한 모델이 어절 기반 모델보다 뛰어난 성능을 보였다.