[논문 리뷰] Integrating Unsupervised Data Generation into Self-Supervised Neural Machine Translation for Low-Resource Languages

Dana Ruiter, Dietrich Klakow외 2명|arXiv (Cornell University)|2021. 07. 19.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 저자원 신경 기계 번역에서 병렬 데이터가 부족하거나 존재하지 않을 경우를 대비해, 비지도 데이터 생성 기법—역번역과 다국어 노이즈 제거 오토인코더—을 자기지도 학습 신경 기계 번역(SSNMT)에 통합하여 성능을 향상시키는 방법을 제안한다. 온라인 문장 쌍 추출 기법과 역번역, 다국어 사전학습을 결합함으로써, 이 방법은 저자원 및 이질적인 언어 쌍에서 최신 기술 수준(SOTA) 성능을 달성하며, 병렬 데이터 없이도 학습된 경우에도 SSNMT 및 비지도 번역 기반 모델보다 최대 +4.3 BLEU 점수를 기록한다.

ABSTRACT

For most language combinations, parallel data is either scarce or simply unavailable. To address this, unsupervised machine translation (UMT) exploits large amounts of monolingual data by using synthetic data generation techniques such as back-translation and noising, while self-supervised NMT (SSNMT) identifies parallel sentences in smaller comparable data and trains on them. To date, the inclusion of UMT data generation techniques in SSNMT has not been investigated. We show that including UMT techniques into SSNMT significantly outperforms SSNMT and UMT on all tested language pairs, with improvements of up to +4.3 BLEU, +50.8 BLEU, +51.5 over SSNMT, statistical UMT and hybrid UMT, respectively, on Afrikaans to English. We further show that the combination of multilingual denoising autoencoding, SSNMT with backtranslation and bilingual finetuning enables us to learn machine translation even for distant language pairs for which only small amounts of monolingual data are available, e.g. yielding BLEU scores of 11.6 (English to Swahili).

연구 동기 및 목표

• 병렬 데이터가 부족하거나 존재하지 않는 저자원 신경 기계 번역 문제를 해결한다.
• 비지도 데이터 생성 기법(예: 역번역, 노이즈 제거)이 자기지도 학습 기반 기계 번역(SSNMT) 성능을 향상시킬 수 있는지 조사한다.
• 다국어 노이즈 제거 오토인코더, 역번역, 이중어 미세조정의 조합이 저자원 환경에서 효과적인지 탐색한다.
• 다양한 언어 쌍, 특히 어순적 거리가 먼 저자원 언어 쌍에 대해 모델 성능을 평가한다.
• 비지도 데이터 증강과 다국어 사전학습을 활용해 병렬 데이터 없이도 SSNMT가 강력한 성능을 낼 수 있음을 입증한다.

제안 방법

• encoder 임베딩의 마진 기반 유사도 측정을 통해 유사 문장 쌍을 비교 가능한 단일 언어 코퍼스에서 동시에 번역을 학습하고 추출하는 자기지도 학습 NMT 프레임워크를 적용한다.
• 자동인코딩과 번역 루프를 통해 합성 병렬 데이터를 생성함으로써, 역번역을 비지도 데이터 증강 기법으로 통합한다.
• 소규모 다국어 단일 언어 데이터 세트를 대상으로 다국어 노이즈 제거 오토인코더(MDAE) 사전학습을 적용하여 다국어 간 표현 학습을 향상시킨다.
• 이중어 미세조정을 통해 모델의 출력 분포를 대상 언어의 특성과 일치시켜, 저자원 언어 쌍에서의 일반화 능력을 향상시킨다.
• 공유된 인코더-디코더 아키텍처를 사용해 문장 쌍 추출과 번역을 반복적으로 개선하는 통합형 온라인 방식으로 모델을 훈련한다.
• 공유된 다국어 인코더와 언어별 디코더를 활용해, 이질적인 언어 쌍에 대해 제로샷 및 희소한 전이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 역번역 및 노이즈 제거와 같은 비지도 데이터 생성 기법이 저자원 환경에서 자기지도 학습 기반 NMT 성능을 향상시킬 수 있는가?
• RQ2 MDAE 사전학습, 역번역, 이중어 미세조정의 조합이 저자원 및 이질적인 언어 쌍에서 번역 품질에 어떤 영향을 미치는가?
• RQ3 UMT 스타일의 데이터 증강을 SSNMT에 통합하면, 개별 기법보다 더 나은 일반화 성능을 낼 수 있는가?
• RQ4 비지도 데이터 증강을 통한 SSNMT는 병렬 단일 언어 데이터 없이도 병렬 데이터에서 추출된 데이터로 훈련된 지도 학습 시스템과 경쟁 가능한 성능을 낼 수 있는가?
• RQ5 언어의 어순적 특성과 거리가 제안된 방법의 성공에 어떤 역할을 하는가? 그리고 다국어 사전학습을 이질적인 언어 쌍에 최적화하기 위해선 어떻게 해야 하는가?

주요 결과

• 제안된 UMT 강화 SSNMT 프레임워크는 아프리카어-영어 번역에서 SSNMT 기준 기준점보다 최대 +4.3 BLEU 점수를 기록했으며, 통계적 UMT 및 하이브리드 UMT에 비해 각각 +50.8 및 +51.5 BLEU 점수를 기록했다.
• 이질적인 언어 쌍인 영어-스와힐리어 번역에서, 단지 66,000개의 단일 언어 문장만을 사용해 BLEU 점수 11.6을 달성하여 극도로 저자원 환경에서도 효과적임을 입증했다.
• 훈련 중에 어떤 병렬 데이터도 사용하지 않았음에도 불구하고, Laser를 통해 추출한 병렬 문장으로 훈련된 지도 학습 NMT 시스템보다 영어–아프리카어 및 영어–네팔리 번역에서 성능이 뛰어나다.
• 영어–요르바 언어 쌍에서, 단지 501개의 병렬 문장만을 사용해 BLEU 점수 22.4를 기록했으며, 비지도 및 자기지도 기반 기준 모델을 모두 초월했다.
• 다국어 노이즈 제거 오토인코더, 역번역, 이중어 미세조정의 조합은 이전에 비지도 또는 자기지도 학습 방법이 실패했던 언어 쌍에 대해서도 성공적인 훈련을 가능하게 했다.
• 다국어 사전학습 세트에 소스 언어가 포함되어 있지 않은 경우 모델 성능이 저하됨을 확인하여, 사전학습에 관련 언어를 포함시키는 것이 중요함을 시사한다.