[논문 리뷰] Extract and Edit: An Alternative to Back-Translation for Unsupervised Neural Machine Translation

Jiawei Wu, Xin Wang외 1명|arXiv (Cornell University)|2019. 04. 04.

Natural Language Processing Techniques참고 문헌 38인용 수 4

한 줄 요약

이 논문은 백역번역을 대체하여 실제 목표언어 문장들을 추출하고 편집하여 고품질의 훈련 신호를 제공하는 새로운 비지도 신경 기계 번역 방법인 Extract-Edit를 제안한다. 이러한 실제 문장 쌍에 기반해 상대적 유사도를 최적화하는 비교 번역 손실을 도입함으로써, 네 가지 언어 쌍에서 최신 기준 성능을 달성하며, 이전 방법 대비 BLEU 점수를 2.0에서 3.63 포인트 향상시킨다.

ABSTRACT

The overreliance on large parallel corpora significantly limits the applicability of machine translation systems to the majority of language pairs. Back-translation has been dominantly used in previous approaches for unsupervised neural machine translation, where pseudo sentence pairs are generated to train the models with a reconstruction loss. However, the pseudo sentences are usually of low quality as translation errors accumulate during training. To avoid this fundamental issue, we propose an alternative but more effective approach, extract-edit, to extract and then edit real sentences from the target monolingual corpora. Furthermore, we introduce a comparative translation loss to evaluate the translated target sentences and thus train the unsupervised translation systems. Experiments show that the proposed approach consistently outperforms the previous state-of-the-art unsupervised machine translation systems across two benchmarks (English-French and English-German) and two low-resource language pairs (English-Romanian and English-Russian) by more than 2 (up to 3.63) BLEU points.

연구 동기 및 목표

• 백역번역이 비지도 NMT에서 누적 번역 오류로 인해 저품질의 가짜 병렬 문장으로 인해 모델 성능이 저하되는 기본적 한계를 해결하기 위해.
• 단일 언어 목표 코퍼스에서 실제 고품질 문장 쌍을 활용해 비지도 훈련을 이끄는 방법을 개발하여 분포 이탈을 방지하기 위해.
• 추출 및 편집된 실제 문장들에 대한 상대적 유사도를 기반으로 번역을 평가하는 비교 번역 손실을 도입하여 정렬 및 일반화를 향상시키기 위해.
• 병렬 데이터가 필요 없이 완전히 비지도 훈련을 가능하게 하여 저자원 언어 쌍에 적용 가능한 방법을 제공하기 위해.

제안 방법

• 원천 문장과 목표 언어 문장 간의 의미 유사도를 사용해 목표 단일 언어 코퍼스에서 잠재적 병렬 문장 후보를 추출한다.
• 추출된 문장을 원천 문장과 의미적으로 일치하도록 수정하는 편집 메커니즘을 적용하여 유창성과 관련성 향상.
• 모델의 번역 결과가 추출 및 편집된 목표 언어 문장들 중 가장 유사한 것과의 유사도를 최대화하는 비교 번역 손실을 정의한다.
• 단일 언어 단일 언어 코퍼스만을 사용하여 추출-편집 모듈과 NMT 모델을 종합적으로 엔드 투 엔드로 비지도 방식으로 공동 훈련한다.
• 추출 과정에서 원천 문장과 목표 언어 문장을 정렬하기 위해 이중 주의 메커니즘을 사용하여 의미 일관성 확보.
• 병렬 데이터가 없을 경우 훈련을 안정화시키기 위해 언어 모델링 및 초기화 기법(예: 양방향 사전 투영)을 활용한다.

실험 결과

연구 질문

• RQ1 비지도 NMT에서 백역번역으로 생성된 가짜 쌍 대비, 단일 언어 목표 코퍼스에서 추출한 실제 문장 쌍이 더 신뢰할 수 있는 훈련 신호가 될 수 있는가?
• RQ2 다수의 추출 및 편집된 후보 문장에 기반해 번역을 평가하는 비교 번역 손실이 기존 복원 손실 대비 모델 성능 향상에 기여하는가?
• RQ3 추출-편집 프레임워크는 영어-루마니아어 및 영어-러시아어와 같은 저자원 언어 쌍을 포함한 다양한 언어 쌍에서 어떻게 성능을 발휘하는가?
• RQ4 백역번역에서 오류가 누적되어 발생하는 분포 이탈을 이 방법이 어느 정도 완화하는가?
• RQ5 이러한 추출-편집 접근법은 기계 번역을 넘어서 비지도 학습에 일반화 가능한가?

주요 결과

• 추출-편집 방법은 평가된 모든 언어 쌍에서 이전 최신 기준 비지도 NMT 시스템(Lample et al., 2018b)을 일관되게 능가한다.
• 영어-프랑스어 및 영어-독일어 벤치마크에서 2.0 BLEU 포인트 이상의 향상이 이루어졌으며, 최대 3.63 BLEU 포인트의 향상이 기록되었다.
• 영어-루마니아어 및 영어-러시아어와 같은 저자원 언어 쌍에서도 강력한 일반화 성능을 보였으며, 병렬 데이터가 제한된 상황에서도 성능 향상이 뚜렷했다.
• 비교 번역 손실은 모델이 가짜 쌍보다 실제 고품질 목표 언어 문장에 더 잘 일치하는 번역을 생성하도록 효과적으로 이끌었다.
• 백역번역에서 발생하는 오류 누적 문제를 피하기 위해 실제 목표 언어 문장을 기반으로 하여 분포 이탈을 감소시켰다.
• 실험 결과는 추출-편집이 고자원 및 저자원 환경 모두에서 백역번역보다 더 효과적임을 확인하였으며, 이는 그 견고성과 확장성의 타당성을 입증한다.