[논문 리뷰] Neural Machine Translation with Pivot Languages

Yong Cheng, Yang Liu외 3명|arXiv (Cornell University)|2016. 11. 15.

Natural Language Processing Techniques참고 문헌 15인용 수 30

한 줄 요약

이 논문은 공유 임bedding 또는 가능도 최대화를 통해 원천-피봇 및 피봇-대상 모델을 연결함으로써 피봇 기반 신경 기계 번역을 위한 공동 학습을 제안하며, Europarl 및 WMT 데이터셋에서 저자원 언어 쌍에 대해 번역 품질을 크게 향상시킨다. 기존 방법 대비 최대 +4.32 BLEU의 성능 향상을 기록한다.

ABSTRACT

While recent neural machine translation approaches have delivered state-of-the-art performance for resource-rich language pairs, they suffer from the data scarcity problem for resource-scarce language pairs. Although this problem can be alleviated by exploiting a pivot language to bridge the source and target languages, the source-to-pivot and pivot-to-target translation models are usually independently trained. In this work, we introduce a joint training algorithm for pivot-based neural machine translation. We propose three methods to connect the two models and enable them to interact with each other during training. Experiments on Europarl and WMT corpora show that joint training of source-to-pivot and pivot-to-target models leads to significant improvements over independent training across various languages.

연구 동기 및 목표

• 저자원 언어 쌍의 신경 기계 번역에서 데이터 부족 문제를 해결한다.
• 학습 중에 원천-피봇 및 피봇-대상 모델을 정렬함으로써 피봇 기반 번역에서 오류 전파를 줄인다.
• 독립적으로 학습하는 대신 원천-피봇 및 피봇-대상 NMT 모델을 공동으로 학습시켜 번역 품질을 향상시킨다.
• 두 모델 간의 효과적인 연결 메커니즘을 탐색하여 계단식 번역 성능을 향상시킨다.
• 소규모 원천-대상 병렬 코퍼스를 활용하여 모델 정렬을 유도함으로써 공동 학습의 효과성을 입증한다.

제안 방법

• 세 가지 연결 방법을 제안한다: 피봇 언어의 공유 단어 임베딩, 주의 기반 상호작용, 계단식 번역의 가능도 최대화.
• 소규모 원천-대상 병렬 코퍼스를 사용하여 가능도 연결을 통해 원천-피봇 및 피봇-대상 모델을 공동으로 학습시킨다.
• 원천 문장이 주어졌을 때 피봇 언어를 중간 단계로 삼아 대상 문장의 로그 가능도를 최대화한다.
• 피봇 모델의 은닉 상태를 대상 모델의 주의 메커니즘에 통합하여 모델 간 상호작용을 가능하게 한다.
• 분포 차이를 줄이기 위해 공통 최적화 목표를 사용하여 두 모델을 엔드 투 엔드로 함께 학습시킨다.
• 다양한 언어 쌍(예: 스페인어-영어, 영어-프랑스어)에 대해 Europarl 및 WMT 코퍼스 전반에 걸쳐 공동 학습을 적용한다.

실험 결과

연구 질문

• RQ1 원천-피봇 및 피봇-대상 NMT 모델의 공동 학습이 계단식 번역에서 오류 전파를 줄일 수 있는가?
• RQ2 공유 임베딩 또는 가능도 최대화를 통해 두 모델을 연결하면 저자원 언어 쌍에서 번역 품질이 향상되는가?
• RQ3 브리지 역할을 하는 원천-대상 병렬 코퍼스의 크기가 공동 학습 성능에 어떤 영향을 미치는가?
• RQ4 공동 학습이 독립 학습 및 기존의 다국어 또는 전이 학습 기반 기준 모델을 초월할 수 있는가?
• RQ5 공유 임베딩, 주의 상호작용, 가능도 최대화 중 어떤 연결 메커니즘이 가장 높은 성능을 낼 수 있는가?

주요 결과

• 가능도 연결을 통한 공동 학습은 여러 언어 쌍에 걸쳐 WMT 코퍼스에서 최대 +1.18 BLEU의 성능 향상을 이룬다.
• 가능도 연결 방법이 Europarl 및 WMT 데이터셋 양쪽에서 독립 학습 및 다른 연결 메커니즘보다 뛰어난 성능을 기록한다.
• 작은 브리지 코퍼스(1,000개 문장 쌍)라도 측정 가능한 향상을 이끌어내며, 50,000개 이상의 쌍을 초과하면 성능 향상 폭이 점차 줄어든다.
• 더 작은 병렬 학습 코퍼스를 사용함에도 불구하고, 제안된 방법은 Firat 등이 제안한 다국어 NMT 모델 대비 최대 +4.32 BLEU의 성능 향상을 달성한다.
• 공동 학습은 독립 모델 간의 성능 격차를 크게 줄이며 저자원 환경에서의 안정성을 향상시킨다.
• 결과는 학습 중 모델 간 상호작용이 오류 전파를 완화하고 계단식 번역 품질을 향상시킨다는 것을 확인한다.