[논문 리뷰] Reference Language based Unsupervised Neural Machine Translation

Zuchao Li, Hai Zhao외 3명|arXiv (Cornell University)|2020. 04. 05.

Natural Language Processing Techniques참고 문헌 48인용 수 5

한 줄 요약

이 논문은 비지도 신경 기계 번역(UNMT)에서 백번역 품질을 향상시키기 위해 원본 언어와 기준 언어 사이의 공통된 평행 코퍼스를 활용하는 참조 언어 기반 비지도 신경 기계 번역(RUNMT) 프레임워크를 제안한다. 참조 일치 메커니즘을 도입함으로써 RUNMT는 다국어 간 정렬을 강화하고 노이즈가 많은 가짜 평행 데이터를 감소시켜 강력한 베이스라인 대비 상당한 BLEU 점수 향상을 이룬다. 특히 중국어-루마니아어 번역에서 13.66 BLEU 점수를 기록하였다.

ABSTRACT

Exploiting a common language as an auxiliary for better translation has a long tradition in machine translation and lets supervised learning-based machine translation enjoy the enhancement delivered by the well-used pivot language in the absence of a source language to target language parallel corpus. The rise of unsupervised neural machine translation (UNMT) almost completely relieves the parallel corpus curse, though UNMT is still subject to unsatisfactory performance due to the vagueness of the clues available for its core back-translation training. Further enriching the idea of pivot translation by extending the use of parallel corpora beyond the source-target paradigm, we propose a new reference language-based framework for UNMT, RUNMT, in which the reference language only shares a parallel corpus with the source, but this corpus still indicates a signal clear enough to help the reconstruction training of UNMT through a proposed reference agreement mechanism. Experimental results show that our methods improve the quality of UNMT over that of a strong baseline that uses only one auxiliary language, demonstrating the usefulness of the proposed reference language-based UNMT and establishing a good start for the community.

연구 동기 및 목표

• 노이즈가 많은 가짜 평행 데이터로 인해 비지도 NMT에서 백번역의 불안정성과 낮은 품질 문제를 해결하기 위해.
• 원본-대상 쌍을 초월해 더 강력한 정렬 신호를 제공하기 위해 원본 언어와 공통 평행 코퍼스를 공유하는 기준 언어의 사용을 탐색하기 위해.
• 다국어성과 기준 언어 일치를 활용하여 비지도 번역 성능을 향상시키기 위해.
• 기존 UNMT 시스템과 호환되며 원본 언어와 대상 언어 간 완전한 평행 코퍼스가 필요 없이도 훈련을 향상시키는 프레임워크를 개발하기 위해.

제안 방법

• 원본 언어와만 공통 평행 데이터를 공유하는 기준 언어 기반 UNMT 프레임워크(RUNMT)를 제안한다.
• 원본-기준 언어 코퍼스에서 유도된 평행 정렬 신호를 활용해 백번역을 안정화하고 이끄는 참조 일치 메커니즘을 도입한다.
• 세 가지 변형을 사용한다: RAT(참조 일치 훈련), RABT(참조 인식 백번역), XBT(다국어 브릿지 훈련)로 각각 다른 감독 신호를 활용한다.
• 훈련에 단일 언어 데이터를 사용하고 기준 언어를 활용해 백번역 과정에서 중간 번역 품질을 향상시킨다.
• 생성된 가짜 평행 데이터를 반복적으로 사용하여 원본-대상 및 대상-원본 모델을 모두 개선하는 방식으로 백번역을 반복 적용한다.
• 중간 품질의 훈련 진전을 측정하기 위해 대상 언어 번역에서 원본 언어 토큰의 비율을 사용하며, 이를 중간 품질의 대체 지표로 활용한다.

실험 결과

연구 질문

• RQ1 원본 언어와 공통 평행 코퍼스를 공유하는 기준 언어가 전통적 백번역을 초월해 비지도 NMT 성능을 향상시킬 수 있는가?
• RQ2 원본-기준 언어 평행 데이터에서 유도된 정렬 신호를 효과적으로 활용해 UNMT에서 백번역을 안정화하고 향상시킬 수 있는가?
• RQ3 참조 일치를 통합함으로써 백번역 과정에서 가짜 평행 데이터 생성의 노이즈와 불안정성을 줄일 수 있는가?
• RQ4 제안된 프레임워크가 MUNMT와 같은 강력한 베이스라인을 초월해 제로샷 번역 환경에서 성능을 뛰어올릴 수 있는가?
• RQ5 기준 언어 접근 방식은 준지도 및 다국어 NMT 환경과 호환되고 확장 가능한가?

주요 결과

• RUNMT는 중국어-루마니아어 번역 작업에서 13.66 BLEU 점수를 기록하여 강력한 MUNMT 기준선(11.55 BLEU)을 크게 앞서갔다.
• RABT 변형은 대상 번역에서 원본 언어 토큰 비율을 2.01%에서 1.69%로 감소시켜 정렬 향상과 노이즈 감소를 확인했다.
• 생성된 번역에서 원본 언어 토큰 비율이 BLEU 점수와 강하게 상관관계를 보이며, 이는 중간 훈련 품질의 대체 지표로 사용될 수 있음을 검증했다.
• 제안된 방법은 BT-BLEU를 MUNMT의 31.98에서 33.16으로 향상시켜 더 나은 가짜 평행 데이터 품질을 입증했다.
• 참조 일치 메커니즘이 백번역을 효과적으로 안정화시켜 저품질 생성 데이터로 인한 모델 붕괴 위험을 줄였다.
• RUNMT는 기존 UNMT 프레임워크와 호환되며 다국어 신호를 활용해 제로샷 번역을 향상시키는 확장 가능한 길을 제공한다.