[논문 리뷰] Application of Low-resource Machine Translation Techniques to Russian-Tatar Language Pair

Aidar Valeev, Ilshat Gibadullin외 2명|arXiv (Cornell University)|2019. 10. 01.

Natural Language Processing Techniques참고 문헌 13인용 수 7

한 줄 요약

이 논문은 324,000개 문장의 소규모 병렬 코퍼스를 가진 러시아어-타타르어 언어 쌍에 대해 저자원 신경 기계 번역 기법—특히 전이 학습, 백트랜슬레이션, 쉐이프 프리페이싱—을 적용한다. 트랜스포머 기반 모델을 사용하여 관련된 카자흐어-러시아어 쌍에서 전이 학습을 수행한 결과가 가장 높은 성과를 보였으며, 기준 모델 대비 번역 품질이 +2.89 BLEU(타타르어→러시아어) 및 +2.57 BLEU(러시아어→타타르어) 향상되었다.

ABSTRACT

Neural machine translation is the current state-of-the-art in machine translation. Although it is successful in a resource-rich setting, its applicability for low-resource language pairs is still debatable. In this paper, we explore the effect of different techniques to improve machine translation quality when a parallel corpus is as small as 324 000 sentences, taking as an example previously unexplored Russian-Tatar language pair. We apply such techniques as transfer learning and semi-supervised learning to the base Transformer model, and empirically show that the resulting models improve Russian to Tatar and Tatar to Russian translation quality by +2.57 and +3.66 BLEU, respectively.

연구 동기 및 목표

• 슬라브어계와 투르크어계 언어 간 저자원 신경 기계 번역에 대한 연구 부족을 해결한다. 특히 러시아어-타타르어 언어 쌍에 초점을 맞춘다.
• 제한된 병렬 및 단일 언어 코퍼스가 존재하는 상황에서도 러시아어-타타르어 언어 쌍의 번역 품질을 향상시킨다.
• 저자원 환경에서 전이 학습, 백트랜슬레이션, 언어 모델 통합의 효과성을 평가한다.
• 모델 품질과 백트랜슬레이션의 효율성 간 상호작용, 특히 초기화 품질과의 관계를 탐구한다.

제안 방법

• 324,000개의 러시아어-타타르어 문장 쌍으로 구성된 소규모 병렬 코퍼스에서 트랜스포머 기반 NMT 모델을 피니테이닝한다.
• 관련된 카자흐어-러시아어 언어 쌍에서 사전 학습된 가중치로 모델을 초기화하여 전이 학습을 적용하고, 1 또는 6 에포크 동안 훈련한다.
• 초기 NMT 모델을 사용하여 단일 언어 코퍼스(타타르어 및 러시아어)를 기반으로 합성 병렬 데이터를 생성함으로써 백트랜슬레이션을 수행한다.
• 쉐이프 프리페이싱을 사용하여 사전 학습된 언어 모델을 NMT 모델에 통합하며, NMT와 LM의 로그리트를 학습 가능한 가중치 하이퍼파라미터로 조합한다.
• 실제 병렬 데이터와 합성 병렬 데이터를 결합하여 최종 모델을 훈련하고, 과적합을 방지하기 위해 신중한 검증 절차를 실시한다.
• 일반화 성능 향상을 위해 쉐이프 프리페이싱 가중치 및 합성 데이터 대비 실데이터 비율 등의 하이퍼파라미터를 최적화한다.

실험 결과

연구 질문

• RQ1 관련된 저자원 언어 쌍인 카자흐어-러시아어에서의 전이 학습이 러시아어-타타르어 번역 품질 향상에 얼마나 효과적인가?
• RQ2 백트랜슬레이션은 다양한 모델 초기화 단계와 번역 방향에 걸쳐 일관되게 성능 향상을 이끌 수 있는가?
• RQ3 사전 학습된 언어 모델을 활용한 쉐이프 프리페이싱이 저자원 환경에서 번역 품질 향상에 의미 있게 기여하는가?
• RQ4 초기 모델의 품질이 백트랜슬레이션의 효율성에 어떤 영향을 미치는가?
• RQ5 저자원 슬라브어계-투르크어계 번역에 최적의 기법 조합(전이 학습, 백트랜슬레이션, LM 통합)은 무엇인가?

주요 결과

• 1 에포크 카자흐어-러시아어 초기화에서 전이 학습을 적용한 결과, 타타르어→러시아어 번역에서 +2.57 BLEU(대소문자 구분) 향상, 러시아어→타타르어 번역에서 +2.89 BLEU(대소문자 무관) 향상이 이루어졌다.
• 6 에포크로 전이 학습을 연장한 결과 성능이 더욱 향상되어, 타타르어→러시아어 번역에서 +2.89 BLEU(대소문자 구분), 러시아어→타타르어 번역에서 +2.57 BLEU(대소문자 무관) 향상이 이루어졌다.
• 백트랜슬레이션은 낮은 품질의 모델에 적용했을 때만 유의미한 성능 향상을 보였으며, 6 에포크 초기화 모델에 적용했을 경우는 유의미한 향상이 없거나 오히려 성능 저하가 발생했다.
• 언어 모델의 쉐이프 프리페이싱 통합은 성능 향상에 실패했으며, 최적의 하이퍼파라미터 설정에서도 단지 +0.01 BLEU의 성능 향상에 그쳤다.
• 백트랜슬레이션의 효율성은 기반 모델의 품질과 반비례하는 경향을 보였으며, 초기화 품질이 높아질수록 수익 감소 현상이 나타났다.
• 최고의 종합 성능은 1 에포크 카자흐어 초기화 모델에 백트랜슬레이션을 적용한 타타르어→러시아어 방향에서 달성되었으며, BLEU 점수는 30.06(대소문자 무관)에 도달했다.