[논문 리뷰] Self-Training for Unsupervised Neural Machine Translation in Unbalanced Training Data Scenarios

Haipeng Sun, Rui Wang외 4명|arXiv (Cornell University)|2020. 04. 09.

Natural Language Processing Techniques참고 문헌 19인용 수 4

한 줄 요약

이 논문은 한 언어의 단일 언어 데이터가 다른 언어보다 현저히 적은 비균형 단일 언어 데이터 환경에서 비지도 신경 기계 번역(UNMT)을 위한 자기학습 기법—ST-UT 및 ST-PT—을 제안한다. 배경 번역을 통해 생성된 합성 병렬 데이터를 활용하고 모델을 반복적으로 개선함으로써, 기준 UNMT 대비 번역 성능을 2–4 BLEU 포인트 향상시킨다. 특히 저자원 언어에 유리하게 작용한다.

ABSTRACT

Unsupervised neural machine translation (UNMT) that relies solely on massive monolingual corpora has achieved remarkable results in several translation tasks. However, in real-world scenarios, massive monolingual corpora do not exist for some extremely low-resource languages such as Estonian, and UNMT systems usually perform poorly when there is not adequate training corpus for one language. In this paper, we first define and analyze the unbalanced training data scenario for UNMT. Based on this scenario, we propose UNMT self-training mechanisms to train a robust UNMT system and improve its performance in this case. Experimental results on several language pairs show that the proposed methods substantially outperform conventional UNMT systems.

연구 동기 및 목표

• 한 언어의 단일 언어 데이터가 다른 언어보다 현저히 적은 경우 발생하는 '비균형 훈련 데이터' 상황에서 비지도 신경 기계 번역(UNMT)의 성능 저하 문제를 해결한다.
• 저자원 언어에 과적합되면서 고자원 언어의 방대한 코퍼스를 제대로 활용하지 못하는 UNMT의 실패 모드를 규명한다.
• 고자원 언어의 풍부한 단일 언어 데이터를 효과적으로 활용하여 저자원 환경에서의 번역 품질을 향상시키는 자기학습 전략을 개발한다.
• 배경 번역을 통해 생성된 합성 병렬 데이터가 UNMT 훈련에 효과적으로 통합되어 강건성과 성능이 향상됨을 입증한다.

제안 방법

• 비균형 훈련 데이터 상황을 정의한다. 두 언어의 단일 언어 데이터 크기가 현저히 다를 경우, 예를 들어 5000만 개의 영어 문장 대비 200만 개의 프랑스어 문장.
• ST-UT(비지도 훈련을 통한 자기학습)를 제안한다. 이전 모델 반복에서 생성된 합성 병렬 데이터를 다음 훈련 단계에서 타겟 전용 데이터로 사용한다.
• ST-PT(가짜 지도 훈련을 통한 자기학습)를 제안한다. 합성 병렬 데이터를 훈련 목표에서 원천과 타겟 모두로 사용하여 가짜 병렬 데이터를 더 직접적으로 통합한다.
• 교차 언어 미사전훈련과 노이즈 제거 오토인코더를 갖춘 트랜스포머 기반 XLM 프레임워크에 자기학습 기법을 통합한다.
• 배경 번역 손실을 사용하여 모델을 훈련한다: 가짜 병렬 쌍을 사용해 원천을 타겟에서 재구성할 조건부 로그우도의 기대값을 최대화한다.
• 모든 언어 쌍(En-Fr, En-Ro, En-Et)에서 평가를 위해 공통의 60,000개의 서브워드로 구성된 BPE 어휘와 대소문자 구분 4-그램 BLEU를 사용한다.

실험 결과

연구 질문

• RQ1 한 언어의 단일 언어 데이터가 다른 언어보다 극적으로 감소할 경우 UNMT 성능이 어떻게 저하되는가?
• RQ2 자기학습 기법이 고자원 언어의 방대한 단일 언어 코퍼스를 효과적으로 활용하여 저자원 환경에서의 번역 성능을 향상시킬 수 있는가?
• RQ3 합성 병렬 데이터를 원천과 타겟 모두로 사용하는 방식(ST-PT)이 타겟 전용으로만 사용하는 방식(ST-UT)보다 더 높은 성능을 내는가?
• RQ4 자기학습 기법이 비균형 UNMT 환경에서 과적합을 완화하고 수렴을 향상시키는 데 얼마나 기여하는가?
• RQ5 다양한 저자원 언어 쌍에서 제안된 방법이 표준 UNMT 기준 모델 대비 BLEU 점수 측면에서 어떻게 비교되는가?

주요 결과

• 비균형 설정(예: 5000만 개의 영어 대비 200만 개의 프랑스어)에서 UNMT 성능이 균형 5000만/5000만 데이터 대비 4–5 BLEU 포인트 감소함을 확인하여, 방대한 단일 언어 코퍼스의 효율적 활용이 부족함을 시사한다.
• ST-PT 전략은 ST-UT 대비 평균 1 BLEU 포인트 높은 성능을 보이며, 합성 데이터의 이중 사용이 모델 학습에 기여함을 입증한다.
• 제안된 자기학습 기법은 En-Fr, En-Ro, En-Et 언어 쌍 전반에서 기준 UNMT 성능을 2–4 BLEU 포인트 향상시킨다.
• 단지 200만 개의 프랑스어 단일 언어 문장만을 갖는 En-Fr 쌍에서 ST-PT는 BLEU 점수 31.84를 기록하여 기준 모델의 30.91보다 뚜렷이 뛰어나다.
• 사례 연구 결과, ST-PT는 어휘 정확성과 유창성을 향상시킨다. 예를 들어, 'tööd ma ei karda'를 'I’m not afraid of work'로 번역하는 데 성공했고, 기존 방식은 'work I’m not afraid of'로 번역했다.
• 자기학습, 특히 ST-PT를 통해 저자원 언어에서의 과적합을 방지하고 수렴 성능을 향상시켜, 합성 데이터를 보다 효과적으로 활용함을 확인했다.