[논문 리뷰] Unsupervised Neural Machine Translation with Weight Sharing

Zhen Yang, Wei Chen외 2명|arXiv (Cornell University)|2018. 04. 24.

Natural Language Processing Techniques참고 문헌 24인용 수 14

한 줄 요약

이 논문은 언어별 특성(스타일, 어휘, 문법 등)을 유지하면서 다국어 간 정렬을 가능하게 하기 위해 공유된 고수준 가중치를 가진 두 개의 독립적인 인코더를 사용하는 새로운 비지도 신경 기계 번역 모델을 제안한다. 가중치 공유 제약 조건, 임bedding 강화 인코더, 이중 GANs(국소 및 전역)를 통합함으로써, 영어-독일어, 영어-프랑스어, 중국어-영어 번역 작업에서 이전 비지도 방법 대비 최대 +1.92 BLEU 향상률을 달성한다.

ABSTRACT

Unsupervised neural machine translation (NMT) is a recently proposed approach for machine translation which aims to train the model without using any labeled data. The models proposed for unsupervised NMT often use only one shared encoder to map the pairs of sentences from different languages to a shared-latent space, which is weak in keeping the unique and internal characteristics of each language, such as the style, terminology, and sentence structure. To address this issue, we introduce an extension by utilizing two independent encoders but sharing some partial weights which are responsible for extracting high-level representations of the input sentences. Besides, two different generative adversarial networks (GANs), namely the local GAN and global GAN, are proposed to enhance the cross-language translation. With this new approach, we achieve significant improvements on English-German, English-French and Chinese-to-English translation tasks.

연구 동기 및 목표

• 공유된 인코더가 스타일, 어휘, 문법과 같은 언어별 특성을 유지하지 못하는 비지도 NMT의 한계를 해결한다.
• 병렬 단일 언어 데이터 없이도 다국어 간 정렬을 향상시키기 위해 고수준 인코더 및 디코더 레이어에 가중치 공유 제약 조건을 도입한다.
• 국소 GAN은 잠재 표현을 정렬하고, 전역 GAN은 분포 매칭을 통해 생성 품질을 향상시키는 두 가지 새로운 GAN을 통해 번역 품질을 향상시킨다.
• 비지도 NMT에서 자기주의 기반 시계열 순서 모델링의 역할을 탐구한다.
• 선택적 가중치 공유를 갖춘 독립적인 인코더가 제로샷 번역 설정에서 단일 인코더 기반 모델보다 우수한 성능을 낼 수 있음을 입증한다.

제안 방법

• 각 언어의 단일 언어 문장을 처리하는 두 개의 독립적 인코더를 사용하며, 최종 레이어에서 공유된 가중치를 통해 고수준 의미 정렬을 강제한다.
• 시작 레이어를 공유하는 두 개의 독립적 디코더를 사용하여 자동에코 방식으로 입력 문장을 재구성함으로써 언어별 생성 패턴을 유지한다.
• 사전 학습된 단어 임베딩으로 인코더를 초기화하여 의미 인코딩을 강화하는 임베딩 강화 인코더를 구현한다.
• 국소 GAN을 도입하여 원본 언어와 대상 언어의 잠재 표현 간을 구분함으로써, 인코더가 서로 구별 불가능한 표현을 생성하도록 유도한다.
• 전역 GAN을 배치하여 실제 단일 언어 데이터와 비교함으로써 생성 문장의 현실성 평가를 수행함으로써, 적대적 훈련을 통해 생성 품질을 향상시킨다.
• 순차적 의존성을 더 효과적으로 모델링하기 위해 방향성 자기주의를 통합함으로써, 주의 메커니즘 내의 맥락 모델링을 향상시킨다.

실험 결과

연구 질문

• RQ1 선택적 가중치 공유를 갖춘 독립적 인코더가 비지도 NMT에서 단일 공유 인코더보다 언어별 특성을 더 잘 유지할 수 있는가?
• RQ2 병렬 데이터 없이도 국소 및 전역 GAN이 다국어 간 정렬 및 생성 품질 향상에 얼마나 효과적인가?
• RQ3 방향성 자기주의를 통한 시계열 순서 모델링이 비지도 환경에서 번역 성능 향상에 얼마나 기여하는가?
• RQ4 각 구성 요소(가중치 공유, GANs, 임베딩 강화, 방향성 주의)가 최종 BLEU 점수에 기여하는 정도는 어떠한가?
• RQ5 제안된 모델이 Lample 등(2017)과 같은 기존 비지도 NMT 기반 모델보다 여러 언어 쌍에서 상당한 성능 향상을 이룰 수 있는가?

주요 결과

• 제안된 모델은 영어-독일어 번역 작업에서 BLEU 점수 15.58을 기록하여 Lample 등(2017) 대비 +1.92 향상되었다.
• 영어-프랑스어 번역에서는 BLEU 점수가 16.97에 도달하여 기준 모델 대비 +1.37 향상되었고, Lample 등(2017) 대비 +1.92 향상되었다.
• 제거 실험 결과, 가중치 공유가 가장 핵심적인 구성 요소임을 확인하였으며, 방향성 자기주의를 제거할 경우 최대 -0.3 BLEU 감소가 발생했다.
• 국소 GAN과 전역 GAN 각각이 중요한 기여를 하였다: 국소 GAN은 최대 +0.57 BLEU 향상, 전역 GAN은 영어-프랑스어 작업에서 최대 +0.78 BLEU 향상 기여.
• 임베딩 강화 인코더는 모든 작업에서 일관된 기여를 하였으며, 초기 의미 표현 강화에 있어 가치가 있음을 시사한다.
• 모든 구성 요소를 포함한 전체 모델이 가장 높은 성능을 기록하였으며, 통합 아키텍처에서의 상호보완적 이점이 입증되었다.