[논문 리뷰] Unsupervised Neural Machine Translation Initialized by Unsupervised Statistical Machine Translation

Benjamin Marie, Atsushi Fujita|arXiv (Cornell University)|2018. 10. 30.

Natural Language Processing Techniques참고 문헌 21인용 수 32

한 줄 요약

이 논문은 인간이 수동으로 애너테이션한 병렬 데이터 없이도, 비감독적 통계적 기계 번역(USMT) 시스템을 통해 생성된 합성 병렬 데이터로 비감독 신경 기계 번역(UNMT)을 초기화하는 방법을 제안한다. 이로써 기존의 감독 학습 기반 NMT 아키텍처를 수정 없이 사용할 수 있으며, WMT16 독일어–영어 번역 과제에서 새로운 최고 성능을 달성한다. de→en 번역에서 감독 시스템과의 BLEU 점수 격차를 3.7점으로 줄였다.

ABSTRACT

Recent work achieved remarkable results in training neural machine translation (NMT) systems in a fully unsupervised way, with new and dedicated architectures that rely on monolingual corpora only. In this work, we propose to define unsupervised NMT (UNMT) as NMT trained with the supervision of synthetic bilingual data. Our approach straightforwardly enables the use of state-of-the-art architectures proposed for supervised NMT by replacing human-made bilingual data with synthetic bilingual data for training. We propose to initialize the training of UNMT with synthetic bilingual data generated by unsupervised statistical machine translation (USMT). The UNMT system is then incrementally improved using back-translation. Our preliminary experiments show that our approach achieves a new state-of-the-art for unsupervised machine translation on the WMT16 German--English news translation task, for both translation directions.

연구 동기 및 목표

• 인간이 수동으로 애너테이션한 병렬 데이터 없이도 고성능 비감독 신경 기계 번역(UNMT) 시스템을 훈련시키는 데 도전한다.
• 기존의 UNMT 방법이 이중어의 서브워드 임베딩에 의존하고, 원천어와 목표어 언어 간의 언어학적 유사성을 가정한다는 한계를 극복한다.
• 진짜 병렬 데이터 대신 합성 데이터를 사용함으로써, 표준 NMT 아키텍처를 비감독 환경에서도 그대로 사용할 수 있도록 한다.
• 백트랜스레이션과 낮은 품질의 합성 문장을 걸러내는 반복적 개선을 통해 UNMT 성능을 향상시킨다.
• 비감독적 기계 번역 시스템의 효과적인 초기화에 있어, USMT가 생성한 고품질 합성 데이터의 중요성을 입증한다.

제안 방법

• 모노링귀 코퍼스에서 훈련된 비감독적 통계적 기계 번역(USMT) 시스템을 사용해 합성 병렬 병렬 데이터를 생성한다.
• USMT가 생성한 합성 병렬 데이터를 사용해 UNMT 모델을 초기화하며, 기존의 NMT 훈련 파이프라인에서 인간이 애너테이션한 병렬 데이터를 대체한다.
• 반복적으로 합성 데이터에 대해 백트랜스레이션을 적용하여, 여러 훈련 단계에 걸쳐 UNMT 모델을 개선한다.
• 각 반복 단계에서 저신뢰도 또는 노이즈가 많은 합성 문장을 걸러내어 훈련 효율성과 번역 품질을 향상시킨다.
• 표준 NMT 아키텍처(예: 어텐션 기반 인코더-디코더)를 수정 없이 사용하며, 합성 데이터를 진짜 병렬 데이터인 것처럼 취급한다.
• 훈련 중 언어 모델 필터링을 적용하여 수렴성과 성능을 향상시키며, 특히 형태적 특성이 뚜렷한 언어에 유리하다.

실험 결과

연구 질문

• RQ1 비감독적 통계적 기계 번역(USMT)이 비감독적 신경 기계 번역(UNMT) 시스템의 초기화에 효과적으로 사용될 수 있는가?
• RQ2 USMT가 생성한 합성 데이터로 인간이 애너테이션한 병렬 데이터를 대체하면, 표준 NMT 아키텍처를 사용해 최고 성능의 UNMT 성능을 달성할 수 있는가?
• RQ3 USMT가 생성한 합성 데이터의 품질이 UNMT 시스템의 최종 성능에 어떤 영향을 미치는가?
• RQ4 합성 데이터에 대한 반복적 백트랜스레이션과 필터링이 UNMT 성능 향상에 얼마나 기여하는가?
• RQ5 독일어–영어와 같은 고자원 언어 쌍에 대해서도, 이 방법이 오직 단일 언어 코퍼스에 의존함에도 불구하고 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 WMT16 독일어–영어 뉴스 번역 과제에서 비감독 기계 번역 분야의 새로운 최고 성능을 달성하였으며, de→en 번역에서 BLEU 점수 27.8을 기록하였다.
• 최고의 UNMT 시스템은 인간이 애너테이션한 병렬 문장 140만 개로 훈련된 감독 NMT 시스템보다 BLEU 점수 3.7점 떨어지며, 감독 모델과의 경쟁력이 뛰어나다는 것을 입증하였다.
• 각 반복 단계에서 합성 병렬 문장을 필터링함으로써, 4개의 GPU에서 훈련 시간을 52시간에서 30시간으로 단축하면서도 번역 품질을 유지하거나 향상시켰다.
• UNMT의 두 번째 반복 훈련에서 de→en 번역의 품질이 5.4 BLEU 점수 향상되었고, en→de 번역은 0.9 BLEU 점수 향상되었으며, 개선 효과가 뚜렷했다.
• 조정된 USMT가 생성한 합성 데이터로 초기화한 UNMT 시스템은 조정되지 않은 USMT 데이터로 초기화한 시스템보다 de→en 번역에서 6.0 BLEU 점수 이상 높은 성능을 보였다.
• 학습 곡선을 통해 초기 합성 데이터의 품질 향상이 특히 초기 훈련 단계에서 고성능 UNMT를 달성하는 데 핵심적임을 확인하였다.