[논문 리뷰] Unsupervised Translation of German--Lower Sorbian: Exploring Training and Novel Transfer Methods on a Low-Resource Language

Lukas Edman, Ahmet Üstün외 2명|arXiv (Cornell University)|2021. 09. 24.

Natural Language Processing Techniques참고 문헌 11인용 수 4

한 줄 요약

이 논문은 독일어–저지소르비아어라는 저자원 언어 쌍을 위한 새로운 비지도 기계 번역 시스템을 제안한다. 이는 두 언어씩 동시에 학습하는 방식으로, 상소르비아어에서 하소르비아어로의 어휘 전이 방법을 도입하고, 온라인 및 오프라인 역번역의 순서를 최적화한다. 이 방법은 최신 기술 수준의 성능을 달성하여 DSB→DE에서 1위(동점)를 기록하고 DE→DSB에서는 3위를 기록하며, 어휘 전이로 최대 4.0 BLEU 향상과 온라인 역번역을 먼저 적용함으로써 2.76 BLEU 향상을 달성한다.

ABSTRACT

This paper describes the methods behind the systems submitted by the University of Groningen for the WMT 2021 Unsupervised Machine Translation task for German--Lower Sorbian (DE--DSB): a high-resource language to a low-resource one. Our system uses a transformer encoder-decoder architecture in which we make three changes to the standard training procedure. First, our training focuses on two languages at a time, contrasting with a wealth of research on multilingual systems. Second, we introduce a novel method for initializing the vocabulary of an unseen language, achieving improvements of 3.2 BLEU for DE$ ightarrow$DSB and 4.0 BLEU for DSB$ ightarrow$DE. Lastly, we experiment with the order in which offline and online back-translation are used to train an unsupervised system, finding that using online back-translation first works better for DE$ ightarrow$DSB by 2.76 BLEU. Our submissions ranked first (tied with another team) for DSB$ ightarrow$DE and third for DE$ ightarrow$DSB.

연구 동기 및 목표

• 저자원 언어인 저지소르비아어처럼 병렬 학습 데이터가 없고 단일 언어 데이터도 제한된 상황에서 비지도 번역의 과제를 해결한다.
• 자원과 시간이 제한된 조건에서 다국어 사전학습 대비 두 언어씩 동시에 훈련하는 것이 더 우수한 성능을 내는지 조사한다.
• 근접한 언어인 상소르비아어에서의 지식을 전이하여, 새로운 저자원 언어인 저지소르비아어의 단어 임베딩을 초기화하는 방법을 개발한다.
• 번역 품질을 극대화하기 위해 온라인 및 오프라인 역번역을 조합할 때 최적의 순서를 규명한다.
• 사전학습된 다국어 모델에 접근이 제한된 저자원 환경에서의 비지도 번역을 위한 벤치마크를 설정한다.

제안 방법

• 언어적 유사도를 바탕으로 독일어와 체코어, 독일어와 상소르비아어, 마지막으로 독일어와 저지소르비아어의 두 언어씩을 대상으로 트랜스포머 인코더-디코더 모델을 훈련한다.
• 상소르비아어의 단어 임베딩을 레벤슈타인 거리와 상위 k개 후보를 활용한 단어 유사도를 통해 저지소르비아어로 매핑하는 새로운 어휘 전이 방법을 도입한다.
• 이중 단계 훈련 과정을 적용한다: 먼저 고자원 언어 쌍에서 사전학습을 수행하고, 이후 비지도 훈련을 통해 목표 저자원 언어 쌍에서 미세조정한다.
• 온라인 및 오프라인 역번역을 모두 활용하며, 순서를 체계적으로 비교한다: 온라인 먼저 vs 오프라인 먼저, 최적의 순서를 도출한다.
• 체코어 및 상소르비아어의 보조 단일 언어 데이터와 독일어–체코어 병렬 데이터를 활용하여 초기화 및 훈련 안정성을 향상시킨다.
• 어휘 전이와 역번역 순서의 영향을 BLEU 점수에 미치는 영향을 평가하기 위해 분석 실험(ablation studies)를 수행한다.

실험 결과

연구 질문

• RQ1 자원과 시간이 제한된 상황에서 다국어 사전학습 대비 두 언어씩 집중적으로 훈련하는 것이 더 우수한 성능을 내는가?
• RQ2 저지소르비아어와 같이 새로운 저자원 언어의 어휘 초기화를 어떻게 확보할 수 있는가?
• RQ3 비지도 훈련에서 온라인 및 오프라인 역번역을 조합할 때 최적의 순서는 무엇인가?

주요 결과

• 온라인 역번역을 오프라인 역번역 이전에 수행할 경우, DE→DSB 번역에서 2.76 BLEU 향상이 이루어지며, 이는 온라인 BT로 생성된 더 고품질의 합성 데이터가 후속 오프라인 훈련에 유리하게 작용함을 시사한다.
• 제안된 상소르비아어에서 저지소르비아어로의 어휘 전이 방법은 DE→DSB 번역에서 3.2 BLEU 향상, DSB→DE 번역에서 4.0 BLEU 향상으로 나타나며, 레벤슈타인 기반 유사도 방법이 단순 상위 1개 후보 방법보다 우수하다.
• 분석 실험 결과 어휘 전이가 성능 향상에 크게 기여하며, 레벤슈타인 방법이 가장 높은 성과를 내며, 특히 0-샷 DSB→DE 번역에서 3.15에서 21.27 BLEU로 향상됨을 확인한다.
• 온라인 역번역을 먼저 적용한 후 오프라인 역번역을 수행할 경우, DE→DSB에서 BLEU 점수 24.64, DSB→DE에서 27.89를 기록하여 WMT 2021 공동 과제에서 각각 3위와 1위(동점)를 기록한다.
• 저지소르비아어에 대한 미세조정 없이도 어휘 전이를 적용한 모델은 DSB→DE 번역에서 21.27 BLEU 점수를 기록하며, 저자원 환경에서 초기화의 중요성을 입증한다.
• 결과적으로 비지도 훈련은 개선된 어휘 초기화로 인해 크게 수혜를 보이며, 어휘 전이로 0-샷 성능에서 16–18 BLEU의 격차를 메우는 데 기여한다.