[논문 리뷰] Bilex Rx: Lexical Data Augmentation for Massively Multilingual Machine Translation

Alex K. Jones, Isaac Caswell외 2명|arXiv (Cornell University)|2023. 03. 27.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 훈련 과정에 고품질 双어 어휘집을 통합함으로써 다국어 신경 기계 번역(NMT)의 성능을 크게 향상시키는 어휘 데이터 증강 방법인 Bilex Rx를 제안한다. 정제된 단어 수준 번역을 통해 단어 단위로 번역된 단일 언어 및 병렬 단일 언어 데이터를 증강함으로써, 특히 저자원 및 제로샷 언어에서 뚜렷한 성능 향상을 달성한다. 이는 작은, 정교하게 정제된 어휘집이 더 크지만 노이즈가 많은 어휘집보다도 더 우수하며, 모델 크기에 따라 성능 향상이 스케일 가능하고 다른 증강 기법과도 조합 가능하다는 것을 보여준다.

ABSTRACT

Neural machine translation (NMT) has progressed rapidly over the past several years, and modern models are able to achieve relatively high quality using only monolingual text data, an approach dubbed Unsupervised Machine Translation (UNMT). However, these models still struggle in a variety of ways, including aspects of translation that for a human are the easiest - for instance, correctly translating common nouns. This work explores a cheap and abundant resource to combat this problem: bilingual lexica. We test the efficacy of bilingual lexica in a real-world set-up, on 200-language translation models trained on web-crawled text. We present several findings: (1) using lexical data augmentation, we demonstrate sizable performance gains for unsupervised translation; (2) we compare several families of data augmentation, demonstrating that they yield similar improvements, and can be combined for even greater improvements; (3) we demonstrate the importance of carefully curated lexica over larger, noisier ones, especially with larger models; and (4) we compare the efficacy of multilingual lexicon data versus human-translated parallel data. Finally, we open-source GATITOS (available at https://github.com/google-research/url-nlp/tree/main/gatitos), a new multilingual lexicon for 26 low-resource languages, which had the highest performance among lexica in our experiments.

연구 동기 및 목표

• 이중어 어휘집을 활용한 어휘 데이터 증강이 다국어 환경에서 비지도 및 저자원 기계 번역 성능을 향상시킬 수 있는지 조사하기 위해.
• 실제 웹 크롤링 기반의 대규모 다국어 훈련 환경에서 다국어 어휘집 기반의 다양한 데이터 증강 전략의 효과를 비교하기 위해.
• 어휘집의 품질과 크기 간의 영향을, 특히 모델 크기가 증가함에 따라 평가하기 위해.
• 저자원 번역 시나리오에서 다국어 어휘집 데이터와 인간 번역 병렬 데이터의 효능을 비교하기 위해.
• 향후 연구를 지원하기 위해 26개 저자원 언어를 위한 새로운 고품질 다국어 어휘집인 GATITOS를 공개하기 위해.

제안 방법

• 다국어 어휘집에서 유래한 단어 수준 번역을 활용해 단일 언어 및 병렬 훈련 데이터를 증강하며, 팬렉스와 같은 큰 노이즈가 많은 자료와 작은 정제된 자료를 모두 포함한다.
• 다양한 데이터 증강 변형을 적용한다: 직접 어휘집 통합, 어휘집 기반 병렬 쌍을 활용한 백트랜스레이션, 여러 전략을 조합한 하이브리드 방법.
• 공유 인코더 및 공유 디코더 아키텍처를 사용해 웹 크롤링된 단일 언어 및 병렬 코퍼스에서 200개 언어의 NMT 모델을 훈련하며, 어휘 증강 여부에 따라 비교한다.
• 다국어 문장 인코더를 사용해 단일 언어 데이터에서 병렬 텍스트를 추출하고, 이를 어휘 증강 데이터와 함께 통합하여 공동 훈련한다.
• FLORES-200 벤치마크에서 CHRF++를 사용해 성능을 평가하며, 고자원, 저자원, 제로샷 언어 쌍 간의 모델 성능을 비교한다.
• 전문가 및 모델 기반 필터링을 통해 검증된 고품질 번역을 포함한 26개 저자원 언어를 위한 정제된 다국어 어휘집인 GATITOS를 오픈소스로 공개한다.

실험 결과

연구 질문

• RQ1 이중어 어휘집을 활용한 어휘 데이터 증강이 비지도 및 저자원 기계 번역에서 측정 가능한 성능 향상으로 이어지는가?
• RQ2 어휘집 기반의 다양한 데이터 증강 전략은 성능 향상과 확장성 측면에서 어떻게 비교되는가?
• RQ3 특히 더 큰 모델에서 어휘집의 품질이 크기보다 더 중요한가?
• RQ4 백트랜스레이션 또는 병렬 텍스트 추출과 같은 다른 데이터 증강 기법과 어휘 증강을 효과적으로 조합할 수 있는가?
• RQ5 저자원 언어 번역에서 다국어 어휘집 데이터는 인간 번역 병렬 데이터보다 효과적으로 작용하는가?

주요 결과

• 이중어 어휘집을 활용한 어휘 데이터 증강은 모든 언어 유형에서 뚜렷하고 일관된 성능 향상을 이끌어내며, 특히 저자원 및 제로샷 설정에서 가장 큰 향상을 보였다.
• 더 작은 정제된 어휘집이 더 크지만 노이즈가 많은 어휘집보다 성능이 뛰어나며, 특히 모델 크기가 증가함에 따라 더욱 두드러진다. 이는 데이터 품질이 양보다 더 중요하다는 것을 시사한다.
• 직접 통합, 백트랜스레이션, 하이브리드 방법을 포함한 여러 증강 전략이 유사한 성능 향상을 보이며, 이를 조합하면 더욱 향상된 성능을 얻을 수 있다.
• 제안된 GATITOS 어휘집은 실험에서 테스트된 모든 어휘집 중에서 가장 높은 성능을 기록했다.
• 어휘 증강의 성과는 스케일 가능하며 일반화 가능하며, 고자원, 저자원, 제로샷 언어 쌍 전반에서 일관된 향상이 관찰되었다.