[논문 리뷰] Subword Segmentation and a Single Bridge Language Affect Zero-Shot Neural Machine Translation

Annette Rios, Mathias Müller외 1명|arXiv (Cornell University)|2020. 11. 03.

Natural Language Processing Techniques참고 문헌 16인용 수 6

한 줄 요약

이 논문은 다국어 모델에서 zero-shot 신경 기계 번역을 조사하며, 언어별 서브워드 분할과 다중 브리지 훈련(비영어 병렬 데이터 사용)이 성능을 크게 향상시킨다는 것을 보여준다. 영어 편향과 서브워드 복사 문제를 줄임으로써 영어 기반 번역 방향에서 최대 8.1 BLEU 향상을 기록했으며, 최고의 성능은 다중 브리지 데이터와 백트랜슬레이션 미세조정을 통해 달성된다.

ABSTRACT

Zero-shot neural machine translation is an attractive goal because of the high cost of obtaining data and building translation systems for new translation directions. However, previous papers have reported mixed success in zero-shot translation. It is hard to predict in which settings it will be effective, and what limits performance compared to a fully supervised system. In this paper, we investigate zero-shot performance of a multilingual EN$\leftrightarrow${FR,CS,DE,FI} system trained on WMT data. We find that zero-shot performance is highly unstable and can vary by more than 6 BLEU between training runs, making it difficult to reliably track improvements. We observe a bias towards copying the source in zero-shot translation, and investigate how the choice of subword segmentation affects this bias. We find that language-specific subword segmentation results in less subword copying at training time, and leads to better zero-shot performance compared to jointly trained segmentation. A recent trend in multilingual models is to not train on parallel data between all language pairs, but have a single bridge language, e.g. English. We find that this negatively affects zero-shot translation and leads to a failure mode where the model ignores the language tag and instead produces English output in zero-shot directions. We show that this bias towards English can be effectively reduced with even a small amount of parallel data in some of the non-English pairs.

연구 동기 및 목표

• 다국어 모델에서 zero-shot 신경 기계 번역의 불안정성과 성능 변동성을 조사하기 위해.
• 서브워드 분할 전략이 서브워드 복사 및 zero-shot 번역 품질에 미치는 영향을 분석하기 위해.
• 영어를 유일한 브리지 언어로 사용할 경우 zero-shot 번역 실패 유형에 미치는 영향을 평가하기 위해.
• 최소한의 비영어 병렬 데이터를 추가하면 영어 편향을 완화하고 zero-shot 일반화 성능을 향상시킬 수 있는지 탐색하기 위해.
• 구조적 변경 없이도 데이터 및 전처리 기반의 단순한 개선 방법을 식별하여 zero-shot 성능을 향상시키기 위해.

제안 방법

• 공유 파라미터와 언어별 타겟 토큰을 사용해 WMT 데이터에서 다국어 NMT 모델을 훈련하고, EN ↔ {FR, CS, DE, FI}를 대상으로 한다.
• 서브워드 복사 문제를 줄이고 zero-shot 성능을 햖थ기 위해, 공동으로 훈련된 BPE 대비 언어별 BPE 분할 전략을 비교한다.
• 소량의 비영어 병렬 데이터(예: CS↔DE, FR↔FI)를 포함시켜 다중 브리지 훈련을 도입함으로써 영어 중심 편향을 줄인다.
• zero-resource 테스트 세트에서 patience 기반 조기 정지 기준을 사용해 백트랜슬레이션 및 미세조정을 수행한다.
• 에ncoder 표현을 다양한 언어 간에 정렬하기 위해 교차 엔트로피와 코사인 거리 손실을 조합한 하이브리드 손실 함수를 사용한다.
• 백트랜슬레이션과 에ncoder 정렬을 모두 적용한 미세조정을 통해 zero-shot 방향에서의 누적 성과 향상을 평가한다.

실험 결과

연구 질문

• RQ1 공동 훈련 대비 언어별로 나누어진 서브워드 분할 전략이 서브워드 복사 및 zero-shot 번역 품질에 어떤 영향을 미치는가?
• RQ2 왜 영어 중심의 다국어 모델링은 zero-shot 번역에서 비영어 입력에 대해 영어 출력을 생성하는 실패 유형을 유발하는가?
• RQ3 최소한의 비영어 병렬 데이터를 추가하면 영어 편향을 완화하고 zero-shot 번역 성능을 향상시킬 수 있는가?
• RQ4 백트랜슬레이션과 에ncoder 정렬은 다국어 NMT에서 zero-shot 성능을 어느 정도 향상시키는가?
• RQ5 왜 zero-shot 번역 성능은 훈련 런과 체크포인트 간에 매우 불안정한가?

주요 결과

• zero-shot 번역 성능은 훈련 런 간에 6 BLEU 이상 변동함으로써 높은 불안정성을 보이며, 철저한 평가의 필요성을 시사한다.
• 언어별 서브워드 분할 전략은 훈련 중 서브워드 복사 문제를 줄이고, 공동 훈련된 BPE 대비 최대 8.1 BLEU 향상을 이끌어내어 zero-shot BLEU 성능을 향상시킨다.
• 영어 중심 모델은 비영어 입력이 들어오더라도 영어 출력을 생성하는 강한 편향을 보이며, 이는 번역 실패의 주요 원인이다.
• 작은 비영어 병렬 데이터(예: CS↔DE, FR↔FI)를 추가함으로써 영어 편향이 크게 감소하고 zero-shot 성능이 향상된다.
• 백트랜슬레이션과 에ncoder 정렬은 누적 효과를 보이며, 최고의 시스템은 6개의 zero-shot 방향에서 25.2 BLEU를 기록했고, 피Voting 기반 베이스라인 대비 1.5 BLEU 향상되었다.
• 다중 브리지 데이터와 백트랜슬레이션 미세조정의 조합이 가장 높은 성능을 보이며, 단일 브리지 및 베이스라인 시스템을 모두 능가한다.