[논문 리뷰] Improved Zero-shot Neural Machine Translation via Ignoring Spurious Correlations

Jiatao Gu, Yong Wang외 2명|arXiv (Cornell University)|2019. 06. 04.

Natural Language Processing Techniques참고 문헌 27인용 수 13

한 줄 요약

이 논문은 원어민 번역이 아닌 번역에서 원인 상관관계를 줄이기 위해 언어 모델 미사전학습과 역번역을 간단하면서 효과적으로 적용하는 두 가지 방법을 제안한다. 이 방법은 순수한 제로샷 번역보다 최대 22 BLEU 포인트 향상을 이끌어내며, 여러 다국어 데이터셋에서 피봇 기반 방법과 동등하거나 이를 초월한다.

ABSTRACT

Zero-shot translation, translating between language pairs on which a Neural Machine Translation (NMT) system has never been trained, is an emergent property when training the system in multilingual settings. However, naive training for zero-shot NMT easily fails, and is sensitive to hyper-parameter setting. The performance typically lags far behind the more conventional pivot-based approach which translates twice using a third language as a pivot. In this work, we address the degeneracy problem due to capturing spurious correlations by quantitatively analyzing the mutual information between language IDs of the source and decoded sentences. Inspired by this analysis, we propose to use two simple but effective approaches: (1) decoder pre-training; (2) back-translation. These methods show significant improvement (4~22 BLEU points) over the vanilla zero-shot translation on three challenging multilingual datasets, and achieve similar or better results than the pivot-based approach.

연구 동기 및 목표

• 원어민 번역이 아닌 번역의 불안정성과 열악한 성능을 해결하며, 이는 종종 피봇 기반 방법에 뒤지게 된다.
• 제로샷 NMT 실패의 근본 원인을 규명하며, 원본 언어 ID와 디코딩된 출력 사이의 원인 상관관계를 주요 악화 요인으로 규명한다.
• 사전에 병렬 단일어 데이터가 없는 언어 쌍을 위한 새로운 언어 쌍에 대해 필요로 하지 않는 실용적이고 효과적인 방법을 개발한다.
• 제로샷 NMT와 피봇 기반 번역 간의 성능 격차를 해소하며, 특히 장거리 피봇 체인이나 자원이 적은 환경에서 성능 향상을 이룬다.
• Europarl, IWSLT 및 MultiUN을 포함한 다양한 다국어 데이터셋에서 강건성과 일관된 성능 향상을 입증한다.

제안 방법

• 원본 언어 ID와 디코딩된 출력 간의 상호정보를 정량적으로 분석하여, 원인 상관관계가 제로샷 NMT 실패의 근본 원인임을 진단한다.
• 언어 모델 미사전학습(LM pre-training)을 적용하여 디코더를 더 나은 언어 특화 인덕티브 바이어스로 초기화함으로써 원인 언어 ID 신호에 대한 의존도를 줄인다.
• 역번역(BTZS)을 통해 목표 언어의 합성 병렬 문장을 증강하여 제로샷 일반화 성능을 향상시킨다.
• 추론 중에 언어 ID를 디코더의 초기 토큰으로 통합(y₀ = j)하여 번역이 올바른 목표 언어로 유도되도록 한다.
• K+1개의 언어에 걸쳐 공통된 표현 공간을 사용하여 다국어 NMT 모델을 훈련하며, 가용한 병렬 쌍에 대해 가능도를 최대화한다.
• 언어 모델 미사전학습과 역번역을 함께 적용하여 제로샷 번역 성능을 더욱 안정화하고 향상시킨다.

실험 결과

연구 질문

• RQ1 왜 다국어 미사전학습이 이루어져도 원어민 번역이 아닌 번역이 실패하는가? 그 불안정성의 근본 원인은 무엇인가?
• RQ2 원본 언어 ID와 디코딩된 출력 간의 원인 상관관계가 제로샷 번역 품질에 얼마나 심각하게 악영향을 미치는가?
• RQ3 언어 모델 미사전학습이 원인 언어 ID 신호에 대한 의존도를 줄이고 제로샷 일반화를 향상시킬 수 있는가?
• RQ4 병렬 데이터가 없는 새로운 언어 쌍에 대해 역번역이 제로샷 NMT 성능 향상에 효과적으로 기여할 수 있는가?
• RQ5 장거리 피봇 체인에서 제안된 방법이 BLEU 점수, 강건성 및 확장성 측면에서 피봇 기반 번역과 어떻게 비교되는가?

주요 결과

• 논문은 원본 언어 ID와 디코딩된 출력 간의 원인 상관관계가 제로샷 NMT 실패의 주요 원인임을 밝혀내며, 상호정보 분석을 통해 이를 검증한다.
• 언어 모델 미사전학습은 원인 언어 ID 신호에 대한 의존도를 줄여 더 안정적이고 자연스러운 제로샷 번역을 가능하게 한다.
• 역번역(BTZS)은 자원이 적거나 새로운 언어 쌍에서 제로샷 NMT 성능을 크게 향상시킨다.
• 제안된 방법은 IWSLT 및 MultiUN 데이터셋에서 순수한 제로샷 번역보다 최대 22 BLEU 포인트 향상된 성과를 기록한다.
• 장거리 피봇 체인(예: De→En→It→Ro→Nl)에서는 제안된 방법을 사용한 제로샷 번역이 피봇 기반 번역보다 2–3 BLEU 포인트 우수하며, 오류 누적 문제를 피한다.
• LM 미사전학습과 BTZS를 결합한 접근법은 Europarl, IWSLT 및 MultiUN을 포함한 모든 평가된 데이터셋에서 피봇 기반 방법과 동등하거나 이를 초월하는 성능을 기록한다.