[논문 리뷰] Bilingual Dictionary Based Neural Machine Translation without Using Parallel Sentences

Xiangyu Duan, Baijun Ji외 6명|arXiv (Cornell University)|2020. 07. 06.

Natural Language Processing Techniques참고 문헌 31인용 수 9

한 줄 요약

이 논문은 병렬 문장에 의존하지 않고, 유사어 사전과 단말어 문장집합만을 사용하는 새로운 신경 기계 번역(NMT) 프레임워크를 제안한다. 이는 지도 학습된 SMT(약 400만 개의 병렬 문장으로 훈련된)와 유사한 성능을 달성하며, 특히 거리가 먼 언어 쌍에서 뛰어난 성능을 보인다. 특히, 지정된 어휘 사전에 제공된 어휘 쌍을 기반으로 한 잠금 훈련(Anchored Training, AT)을 도입하여 원천 언어와 목표 언어의 표현을 정렬함으로써, 표현 분포 간 격차를 줄인다.

ABSTRACT

In this paper, we propose a new task of machine translation (MT), which is based on no parallel sentences but can refer to a ground-truth bilingual dictionary. Motivated by the ability of a monolingual speaker learning to translate via looking up the bilingual dictionary, we propose the task to see how much potential an MT system can attain using the bilingual dictionary and large scale monolingual corpora, while is independent on parallel sentences. We propose anchored training (AT) to tackle the task. AT uses the bilingual dictionary to establish anchoring points for closing the gap between source language and target language. Experiments on various language pairs show that our approaches are significantly better than various baselines, including dictionary-based word-by-word translation, dictionary-supervised cross-lingual word embedding transformation, and unsupervised MT. On distant language pairs that are hard for unsupervised MT to perform well, AT performs remarkably better, achieving performances comparable to supervised SMT trained on more than 4M parallel sentences.

연구 동기 및 목표

• 병행 문장의 지도 학습 없이도, 유사어 사전과 단말어 문장집합만을 이용한 신경 기계 번역(NMT)의 잠재력을 탐색한다.
• 제로샷 번역 설정에서 원천 언어와 목표 언어 간 표현 공간 간 큰 격차 문제를 해결한다.
• 초기화 단계가 아닌 전체 훈련 과정 동안 유사어 사전을 효과적으로 활용하는 훈련 방법을 개발한다.
• 비교적 낮은 자원의 언어 쌍에서 일반적으로 성능이 떨어지는 무 supervision NMT의 성능을 향상시킨다.

제안 방법

• 지정된 유사어 사전에서 제공하는 어휘 쌍을 기반으로 한 잠금 훈련(Anchored Training, AT)을 제안하여 원천 언어와 목표 언어 표현 간의 분포 격차를 줄인다.
• 공유된 잠재 공간에서 사전에 제공된 어휘 쌍의 정렬된 표현 간 거리를 최소화함으로써 NMT 모델을 훈련시킨다.
• 이중 시각 잠금 훈련(Bi-view AT)은 원천 언어와 목표 언어 양쪽 시각에서 잠금 포인트를 적용하고, 두 시각을 융합하여 정렬 및 번역 품질을 향상시킨다.
• XLM 등 다국어 사전 훈련 기법과 AT를 융합하여, 특히 저자원 및 거리가 먼 언어 쌍에서의 성능을 향상시킨다.
• 문장 수준의 표현을 추출하기 위해 max-pooling을 사용하고, 병행 문장 쌍 간의 코사인 유사도를 통해 다국어 불변성을 평가한다.
• 여러 언어 쌍에서 BLEU 점수를 사용하여 평가하고, 어휘 사전 크기와 실제 사전 대비 인위적 사전의 영향을 분석하기 위한 분석 실험도 수행한다.

실험 결과

연구 질문

• RQ1 병행 문장의 지도 학습 없이도, 유사어 사전과 단말어 자료만을 사용하는 신경 기계 번역 시스템이 높은 성능을 달성할 수 있는가?
• RQ2 무 supervision NMT와 어휘 사전 지도 표현 변환에 비해, 잠금 훈련(AT)이 원천 언어와 목표 언어 표현 간 분포 격차를 얼마나 효과적으로 줄이는가?
• RQ3 원천 언어와 목표 언어 양쪽에서의 잠금 포인트 적용(Bi-view AT)이 단일 시각 잠금보다 더 나은 번역 품질을 제공하는가?
• RQ4 병행 문장이 없는 조건에서, 유사어 사전의 크기가 번역 성능에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 특히 거리가 먼 언어 쌍에서, 약 400만 개의 병행 문장으로 훈련된 지도 학습된 SMT 시스템과 유사한 성능을 달성할 수 있는가?

주요 결과

• 이중 시각 잠금 훈련(Bi-view AT)은 중국어-영어 번역에서 BLEU 점수 21.16을 기록하여, XLM+UNMT(20.68)와 AT(19.83)를 뛰어넘었다.
• 실제 어휘 사전의 1/4(약 3,000개의 어휘 쌍)만을 사용해도 XLM+UNMT보다 성능이 향상되었으며, ACP+AT는 BLEU 점수 22.84를 기록했다.
• ACP+AT에서 전체 어휘 사전을 사용할 경우 중국어-영어 번역에서 BLEU 점수 26.80을 기록하여, 약 400만 개의 병행 문장으로 훈련된 지도 학습된 SMT 시스템에 근접하는 성능을 달성했다.
• 실제 어휘 사전은 무 supervision BLI로 생성된 인위적 사전보다 일관되게 뛰어나며, 중국어-영어 번역에서 3.1 BLEU의 우수성을 보였다.
• 문장 수준의 코사인 유사도 분석 결과, ACP+Bi-view AT는 모든 인코더 레이어에서 XLM+UNMT보다 더 강한 다국어 불변성을 확보했다.
• 무 supervision NMT가 어려워하는 거리가 먼 언어 쌍에서 특히 뛰어난 성능을 보이며, 저자원 환경에서도 뛰어난 강건성을 입증했다.