[논문 리뷰] Phrase-Based & Neural Unsupervised Machine Translation.

Guillaume Lample, Myle Ott외 3명|arXiv (Cornell University)|2018. 04. 20.

Natural Language Processing Techniques참고 문헌 41인용 수 232

한 줄 요약

이 논문은 병렬 문장이 전혀 없이도 단일 언어 데이터를 활용하는 문장 기반 및 신경망 기반 비지도 기계 번역 프레임워크를 제안한다. 이 프레임워크는 세 가지 핵심 원칙에 기반한다: (1) 双어사전을 통한 초기화, (2) 언어 모델링을 통한 노이즈 제거, (3) 반복적 백번역. 이 방법은 병렬 문장이 전혀 없이도 최신 기준 성능을 달성하며, WMT’14 영-불 번역에서 28.1 BLEU, WMT’16 독-영 번역에서 25.2 BLEU를 기록하여 이전의 비지도 번역 방법보다 11 BLEU 이상 높은 성능을 보였다.

ABSTRACT

Machine translation systems achieve near human-level performance on some languages, yet their effectiveness strongly relies on the availability of large amounts of parallel sentences, which hinders their applicability to the majority of language pairs. This work investigates how to learn to translate when having access to only large monolingual corpora in each language. We propose two model variants, a neural and a phrase-based model. Both versions leverage a careful initialization of the parameters, the denoising effect of language models and automatic generation of parallel data by iterative back-translation. These models are significantly better than methods from the literature, while being simpler and having fewer hyper-parameters. On the widely used WMT'14 English-French and WMT'16 German-English benchmarks, our models respectively obtain 28.1 and 25.2 BLEU points without using a single parallel sentence, outperforming the state of the art by more than 11 BLEU points. On low-resource languages like English-Urdu and English-Romanian, our methods achieve even better results than semi-supervised and supervised approaches leveraging the paucity of available bitexts. Our code for NMT and PBSMT is publicly available.

연구 동기 및 목표

• 병렬 단일 언어 데이터에 의존하지 않도록 함으로써 저자원 및 제로샷 기계 번역의 과제를 해결한다.
• 병렬 코퍼스가 극히 적거나 존재하지 않는 저자원 언어 쌍에서의 데이터 부족 문제를 해결한다.
• 일관되고 원리적인 비지도 번역 접근법을 통합하여 일반화 능력과 학습 안정성을 향상시킨다.
• 적절히 초기화되고 정규화된 경우 문장 기반 모델이 완전히 비지도 환경에서 신경망 모델을 능가할 수 있음을 보여준다.
• 저자원 및 거리가 먼 언어 쌍, 예를 들어 영-우르두어 및 영-루마니아어 등에 비지도 번역의 적용 가능성을 확장한다.

제안 방법

• 교차 언어 단어 임베딩 정렬을 통해 단일 언어 코퍼스에서 유도된 이중어사전을 모델의 초기화에 사용한다.
• 언어 모델링 목적을 사용하여 시퀀스-투-시퀀스 모델이 손상된 입력 문장을 재구성하도록 훈련함으로써 노이즈 제거 오토인코딩을 적용한다.
• 반복적 백번역을 구현: 원본 언어에서 목표 언어 문장을 생성하는 모델을 사용해 합성된 목표 언어 문장을 생성하고, 이를 바탕으로 목표 언어에서 원본 언어로의 모델을 훈련한다.
• 양방향에서 인코더 임베딩을 연결함으로써 언어 간 공통된 잠재 표현을 강제한다.
• 재구성 손실을 신호로 사용하여 원본 언어에서 목표 언어로, 다시 원본 언어로의 순환 방식으로 두 모델을 함께 훈련한다.
• PBSMT의 경우, 신경망 기반으로 유도된 이중어 n-그램 사전을 문장 테이블의 초기화에 사용하고, 백번역을 적용하여 반복적으로 번역 테이블을 정밀화한다.

실험 결과

연구 질문

• RQ1 비지도 신경망 및 문장 기반 번역 시스템이 병렬 문장 없이도 최신 기준 성능을 달성할 수 있는가?
• RQ2 언어 모델링과 오토인코딩 기반의 노이즈 제거가 비지도 번역 품질을 어떻게 향상시키는가?
• RQ3 합성 병렬 데이터를 사용한 반복적 백번역이 제로샷 번역 성능을 크게 향상시키는가?
• RQ4 적절히 초기화되고 정규화된 경우 문장 기반 모델이 비지도 환경에서 신경망 모델을 능가할 수 있는가?
• RQ5 이러한 방법은 영-우르두어 및 영-루마니아어와 같은 저자원 및 거리가 먼 언어 쌍에서 얼마나 효과적인가?

주요 결과

• 제안된 신경망 모델은 WMT’14 영-불 번역에서 28.1 BLEU, WMT’16 독-영 번역에서 25.2 BLEU를 기록하여 이전의 비지도 번역 방법보다 11 BLEU 이상 높은 성능을 달성했다.
• 문장 기반 모델은 표준 벤치마크에서 최대 12 BLEU 포인트의 향상을 기록했으며, 종종 신경망 모델의 성능을 따라하거나 초월했다.
• 영-우르두어 및 영-루마니아어와 같은 저자원 언어 쌍에서, 이 방법은 제한된 병행 데이터를 가진 반지도 및 지도 기반 베이스라인을 모두 능가했다.
• 제거 실험 결과, 백번역과 오토인코딩이 핵심 요소임을 확인하였으며, 이를 제거하면 모델이 학습을 하지 못하는 것으로 나타났다.
• 연결된 단일 언어 코퍼스에서 바이트-페어 인코딩(BPE) 임베딩을 학습하면 이전 연구 대비 7 BLEU 포인트 향상된 성능을 기록했다.
• 반복적 백번역 과정은 수렴하며 여러 반복 동안 번역 품질을 안정적으로 향상시키며, 500만 문장 이상에서도 여전히 성능 향상이 관찰되었다.