[논문 리뷰] Translating Translationese: A Two-Step Approach to Unsupervised Machine Translation

Nima Pourdamghani, Nada Aldarrab외 3명|arXiv (Cornell University)|2019. 06. 11.

Natural Language Processing Techniques참고 문헌 28인용 수 4

한 줄 요약

이 논문은 먼저 이종 어휘사전을 사용해 '번역어(Translationese)' 어휘를 생성하고, 그 다음 사전에 훈련된 모델을 사용해 유창한 목표 언어 텍스트로 번역하는 두 단계로 구성된 비지도 신경망 기계 번역 프레임워크를 제안한다. 이 방법은 병렬 훈련 데이터가 필요 없으며 각 새로운 원천 언어에 대해 재학습이 필요 없기 때문에 고자원 언어에서 최고 수준 또는 경쟁 가능한 BLEU 점수를 달성하고, 14개의 저자원 언어에 대해서도 우수한 품질의 번역을 생성한다.

ABSTRACT

Given a rough, word-by-word gloss of a source language sentence, target language natives can uncover the latent, fully-fluent rendering of the translation. In this work we explore this intuition by breaking translation into a two step process: generating a rough gloss by means of a dictionary and then `translating' the resulting pseudo-translation, or `Translationese' into a fully fluent translation. We build our Translationese decoder once from a mish-mash of parallel data that has the target language in common and then can build dictionaries on demand using unsupervised techniques, resulting in rapidly generated unsupervised neural MT systems for many source languages. We apply this process to 14 test languages, obtaining better or comparable translation results on high-resource languages than previously published unsupervised MT studies, and obtaining good quality results for low-resource languages that have never been used in an unsupervised MT scenario.

연구 동기 및 목표

• 새로운 원천 언어에 대해 재학습이 필요 없는 빠르고 확장 가능한 비지도 기계 번역 시스템을 개발하기 위해.
• 병행 단어 수준의 데이터가 부족하거나 존재하지 않는 저자원 언어 번역 문제를 해결하기 위해.
• 모듈러한 파이프라인을 통해 적합성(어휘화)과 유창성(번역)을 분리하여 번역 품질을 향상시키기 위해.
• 원천 언어에서 목표 언어로의 번역 시스템을 단일 사전과 사전 구입 도구만으로도 신속하게 구현하기 위해.
• 비지도 환경에서 이전에 테스트되지 않은 고자원 언어 및 저자원 언어 모두에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 이 방법은 다양한 병행 데이터 세트에서 훈련된 사전에 훈련된 번역어(Translationese)에서 목표 언어로의 번역 모델을 사용한다. 원천 쪽은 이종 어휘사전을 사용해 번역어로 변환된다.
• 병행 문장 수준의 데이터가 필요 없이, 사전 구입 워드 임베딩과 정렬 기법을 사용해 원천-목표 어휘사전을 실시간으로 구축한다.
• 원천 텍스트는 어휘사전을 사용해 '번역어(Translationese)'로 어휘화되며, 이는 의미를 유지하지만 유창성은 결여된 일대일 가짜 번역이다.
• 사전에 훈련된 번역 모델이 번역어를 사용해 자연스럽고 흐름 있는 목표 언어 출력으로 변환한다.
• 모놀링구얼 데이터는 워드 임베딩 훈련에 사용되며, 교차 언어 임베딩 정렬을 통한 비지도 어휘사전 학습 기법을 적용한다.
• 새로운 원천 언어로의 적응 시 재학습이나 미세조정을 피하는 파이프라인 전반을 통해 빠른 배포가 가능하다.

실험 결과

연구 질문

• RQ1 어휘사전 기반 어휘화와 사전에 훈련된 번역 모델을 조합한 두 단계 파이프라인이 경쟁 가능한 비지도 기계 번역 성능을 달성할 수 있는가?
• RQ2 이 방법은 이전 비지도 MT 시스템에서 사용되지 않은 저자원 언어로 일반화할 수 있는가?
• RQ3 병행 훈련 데이터나 각 목표 언어에 특화된 튜닝 없이도 높은 품질의 번역을 달성할 수 있는가?
• RQ4 초기 번역어 어휘화의 품질이 최종 번역 결과에 얼마나 큰 영향을 미치는가?
• RQ5 백트랜슬레이션 또는 피벗 기반 방법에 의존하는 기존 비지도 NMT 접근법보다 성능을 뛰어넘을 수 있는가?

주요 결과

• 프랑스어에 대해 newstest2014에서 BLEU 점수 21.0을 기록했으며, Lample 등 (2018c)의 트랜스포머 모델를 제외한 이전 모든 비지도 NMT 방법보다 뛰어난 성능을 보였다.
• 러시아어에 대해 BLEU 점수 12.0을 기록했으며, 이는 이전 비지도 방법보다 유의미하게 뛰어나고 최고 수준의 결과와 유사하다.
• 10개의 저자원 언어(예: 인도네시아어, 폴란드어, 포르투갈어, 카탈로니아어)에서 BLEU 점수 13.7에서 23.1 사이의 수준의 점수를 기록하여, 이전에 테스트되지 않은 언어에 대해서도 실용 가능성을 입증했다.
• 프랑스어와 독일어를 포함한 모든 테스트 언어에서 Kim 등 (2018)의 방법보다 뛰어난 결과를 기록했으며, 이는 가장 유사한 비교 방법이다.
• 번역어 단계만으로도 프랑스어에 대해 BLEU 점수 11.6를 기록하여, 어휘화 단계가 충분한 의미적 내용을 유지하고 있음을 시사한다.
• 새로운 원천 언어로의 적응 시 재학습이나 하이퍼파라미터 튜닝이 전혀 필요 없으며, 단일 사전에 훈련된 모델만으로 14개 언어에 대해 빠른 배포가 가능하다.