[논문 리뷰] Cross-lingual Pre-training Based Transfer for Zero-shot Neural Machine Translation

Baijun Ji, Zhirui Zhang외 4명|arXiv (Cornell University)|2019. 12. 03.

Natural Language Processing Techniques참고 문헌 32인용 수 8

한 줄 요약

이 논문은 원어민 및 이종어 사전 훈련을 통해 학습된 통합 인코더를 사용하여 원천 언어와 피봇 언어 표현을 정렬함으로써, 제로샷 신경 기계 번역을 위한 교차 언어 사전 훈련 기반 전이 학습 방법을 제안한다. 이 방법은 피봇 기반 및 다국어 기반 기준보다 제로샷 번역 성능을 크게 향상시키며, 평균적으로 피봇 기반 기준보다 +2.4 BLEU, 다국어 NMT 기준보다 +4.6 BLEU 향상된다.

ABSTRACT

Transfer learning between different language pairs has shown its effectiveness for Neural Machine Translation (NMT) in low-resource scenario. However, existing transfer methods involving a common target language are far from success in the extreme scenario of zero-shot translation, due to the language space mismatch problem between transferor (the parent model) and transferee (the child model) on the source side. To address this challenge, we propose an effective transfer learning approach based on cross-lingual pre-training. Our key idea is to make all source languages share the same feature space and thus enable a smooth transition for zero-shot translation. To this end, we introduce one monolingual pre-training method and two bilingual pre-training methods to obtain a universal encoder for different languages. Once the universal encoder is constructed, the parent model built on such encoder is trained with large-scale annotated data and then directly applied in zero-shot translation scenario. Experiments on two public datasets show that our approach significantly outperforms strong pivot-based baseline and various multilingual NMT approaches.

연구 동기 및 목표

• 제로샷 신경 기계 번역 전이 학습에서 언어 공간 불일치 문제를 해결하기 위해.
• 병행된 원천-목표 언어 데이터 없이 피봇-목표 부모 모델에서 원천-목표 자식 모델로의 원활한 전이를 가능하게 하기 위해.
• 다양한 원천 언어와 피봇 언어 간에 동일한 표현을 공유하는 불변 표현을 갖는 통합 인코더를 구축하기 위해.
• 감독 번역 성능을 유지하거나 향상시키면서 제로샷 번역 성능을 향상시키기 위해.
• 교차 언어 사전 훈련이 원천 언어 간 도메인 이탈을 줄이는 데 효과적인지 조사하기 위해.

제안 방법

• 원천 언어와 피봇 언어 표현을 정렬하기 위해 새로운 이종어 사전 훈련 방법인 브릿지 언어 모델링(Bridge Language Modeling, BRLM)을 도입한다.
• 다국어 사전 훈련을 위해 단일 언어 마스크 언어 모델링(MLM)과 BRLM을 결합하여 다국어를 위한 통합 인코더를 사전 훈련한다.
• 의미가 같은 문장이 서로 다른 원천 언어에서 표현될 경우 유사한 잠재 표현을 갖도록 공유된 인코더 아키텍처를 사용한다.
• 제로샷 번역 품질 향상을 위해 미세조정 단계에서 역번역을 적용한다.
• 사전 훈련 지식과 작업 특화 적응 간 균형을 맞추기 위해 미세조정 중에 계층별 파arameter 정체를 적용한다.
• 대규모 병행 데이터 기반으로 피봇-목표 모델을 훈련하고, 추가적인 병행 데이터 없이도 원천-목표 번역에 직접 적용한다.

실험 결과

연구 질문

• RQ1 교차 언어 사전 훈련이 제로샷 NMT에서 원천 언어와 피봇 언어 간 언어 공간 불일치를 효과적으로 줄일 수 있는가?
• RQ2 제안된 BRLM 사전 훈련 방법이 기존 방법에 비해 교차 언어 문장 및 단어 표현 정렬을 향상시키는가?
• RQ3 파rameter 정체 전략이 제로샷 및 감독 번역 방향에서 성능에 어떤 영향을 미치는가?
• RQ4 통합 인코더가 원천-목표 병행 데이터 없이도 고품질의 제로샷 번역을 가능하게 하는가?
• RQ5 제안된 방법이 제로샷 번역에서 피봇 기반 및 다국어 NMT 기준보다 어떻게 비교되는가?

주요 결과

• 제안된 MLM+BRLM-SA 방법은 제로샷 번역에서 피봇 기반 기준보다 평균적으로 2.4 BLEU 포인트 높은 성능을 달성한다.
• 제안된 MLM+BRLM-SA 방법은 제로샷 번역에서 다국어 NMT보다 평균적으로 4.6 BLEU 포인트 높은 성능을 달성한다.
• 첫 네 개의 인코더 레이어를 정체시키면 제로샷 및 감독 번역 성능 간 최적의 균형을 이룬다.
• MLM+BRLM-SA 방법은 코사인 유사도 측정 기준으로 모든 트랜스포머 레이어에서 가장 안정적이고 유사한 교차 언어 문장 표현을 생성한다.
• MLM+BRLM-SA의 단어 수준 히든 상태는 원천 언어와 피봇 언어에서 대응되는 단어 간 유사도가 더 높아, 더 나은 정렬을 나타낸다.
• 제안된 방법은 원래 감독 트랜스포머 대비 감독 번역 방향에서 성능을 유지하거나 향상시킨다.