[논문 리뷰] The Missing Ingredient in Zero-Shot Neural Machine Translation

Naveen Arivazhagan, Ankur Bapna외 4명|arXiv (Cornell University)|2019. 03. 17.

Natural Language Processing Techniques참고 문헌 39인용 수 92

한 줄 요약

본 논문은 다언어 NMT에서 순수 파라미터 공유가 제로샷 번역을 효과적으로 방해한다는 점을 지적하고, 언어 불변 표현을 강제하기 위한 인코더 수준의 보조 손실을 제안하여 WMT14에서 피벗링과 동등한 제로샷 성능과 IWSLT17에서 확장 가능한 결과를 달성한다.

ABSTRACT

Multilingual Neural Machine Translation (NMT) models are capable of translating between multiple source and target languages. Despite various approaches to train such models, they have difficulty with zero-shot translation: translating between language pairs that were not together seen during training. In this paper we first diagnose why state-of-the-art multilingual NMT models that rely purely on parameter sharing, fail to generalize to unseen language pairs. We then propose auxiliary losses on the NMT encoder that impose representational invariance across languages. Our simple approach vastly improves zero-shot translation quality without regressing on supervised directions. For the first time, on WMT14 English-FrenchGerman, we achieve zero-shot performance that is on par with pivoting. We also demonstrate the easy scalability of our approach to multiple languages on the IWSLT 2017 shared task.

연구 동기 및 목표

• 전체 파라미터 공유를 가진 다언어 NMT에서 제로샷 번역이 기대만큼 성능을 발휘하지 않는 원인을 진단함으로써 연구를 동기화한다.
• 언어 불변 인코더 표현을 강제하기 위한 보조 손실을 제안하고 평가한다.
• 다중 단계 데이터 합성 없이 벤치마크 데이터세트에서 제로샷 성능이 피벗링과 동등한 수준에 도달함을 입증한다.
• 이 접근법의 확장성을 추가 언어(IWSLT17)로 확장 가능함을 보여준다.
• 더 나은 제로샷 MT를 위한 누락된 성분으로서의 교차 언어 전이의 역할을 명확히 한다.

제안 방법

• 제로샷 번역을 영어를 소스 도메인으로, 다른 언어를 타깃 도메인으로 하는 도메인 적응 문제로 공식화한다.
• 표준 교차 엔트로피 번역 손실(손실 = CE + lambda * Omega)에 정렬 정규화 손실을 도입한다.
• 두 가지 정규화 항을 제시한다: (a) 도메인 적대 손실을 통한 분포 차원의 정렬, (b) 코사인 유사도 목표를 활용한 알려진 번역 쌍(패러럴)을 이용한 인스턴스 차원의 정렬.
• 대상 언어를 나타내는 언어 토큰이 있는 공유 인코더/디코더 트랜스포머 기본 모델을 사용하여 엔드-투-엔드로 학습한다.
• 번역 손실과 정렬 손실의 균형을 맞추도록 람다를 조정한다(실험에서 lambda = 1.0).
• 코사인 기반 정렬과 적대적 정렬을 강건성 및 성능 측면에서 비교하고, 코사인 손실의 단순성을 강조한다.

실험 결과

연구 질문

• RQ1 다언어 NMT 모델에서 가중치 묶음(weight tying)을 사용했을 때 제로샷 언어쌍으로 일반화하지 못하는 이유는 무엇인가?
• RQ2 언어 간에 인코더 표현의 명시적 정렬이 제로샷 번역을 개선하고 감독 방향을 해치지 않는가?
• RQ3 다언어 NMT에서 latent 공간의 영어가 교차 언어 전이를 위한 실용적인 피벗이 되는가?
• RQ4 간단한 정렬 손실과 적대적 방법 간 제로샷 MT 향상 차이와 더 많은 언어에 대한 확장성은 어떻게 되는가?

주요 결과

• 기준 멀티링구얼 NMT는 감독 학습에서는 강력한 성능을 보이지만 피벗링에 비해 제로샷 성능이 약하고 언어 얽힘 현상이 두드러지며 출력이 잘못된 언어로 번역되는 오류가 발생한다.
• de->fr에 대한 제로샷 BLEU는 17.00(바닐라)에서 26.00(적대적)과 25.85(pool-cosine)로 향상되었다; fr->de도 11.84(바닐라)에서 20.39(적대적)와 20.18(pool-cosine)로 향상되었다.
• 영어를 통한 피벗링은 26.25(de->fr)와 20.18(fr->de)의 BLEU를 보여주어, 정렬된 잠재 표현이 피벗링과의 차이를 좁힐 수 있음을 시사한다.
• 코사인 기반 정렬은 단순하고 강건한 접근법으로 적대적 방법에 거의 비견되며 하이퍼파라미터가 더 적고 민감도가 낮다.
• IWSLT17에서 코사인 정렬 다국어 모델은 피벗링에 상응하거나 다가가며 8~20개 언어 구성으로 더 많은 언어로의 확장성을 보여주며 제로샷 결과가 피벗 성능에 근접하거나 이를 상회한다.
• 정렬 손실은 소스 언어 표현을 대상 언어 신호로부터 효과적으로 분리하여 감독 방향을 저해하지 않고 더 나은 제로샷 일반화를 가능하게 한다.