[논문 리뷰] Tigrinya Neural Machine Translation with Transfer Learning for Humanitarian Response

Alp Öktem, Mirko Plitt외 1명|arXiv (Cornell University)|2020. 03. 09.

Natural Language Processing Techniques참고 문헌 16인용 수 9

한 줄 요약

이 논문은 Tigrinya에서 영어로의 신경 기계 번역 시스템을 제시하며, Amharic, Ge'ez 등 다른 Ge'ez 문자를 사용하는 언어로부터의 다국어 전이 학습을 활용하여 표준 신경 기반 기준 대비 1.3 BLEU 포인트 향상된 성능을 달성한다. 이 접근법은 145만 개 문장의 다국어 사전 훈련을 거친 후 인도적 지원 분야 데이터로 도메인 특화 미세조정을 수행하여 기능성 있는 오픈소스 모델과 공개된 데모 애플리케이션을 제공한다.

ABSTRACT

We report our experiments in building a domain-specific Tigrinya-to-English neural machine translation system. We use transfer learning from other Ge'ez script languages and report an improvement of 1.3 BLEU points over a classic neural baseline. We publish our development pipeline as an open-source library and also provide a demonstration application.

연구 동기 및 목표

• 에리트레아와 에티오피아에서 790만 명이 사용하는 저자원 언어인 Tigrinya에 대한 기계 번역 지원 부족 문제를 해결하기 위해.
• 기존 통계 기반 기계 번역 접근법이 어려움을 겪는 Tigrinya의 형태학적 복잡성 문제를 해결하기 위해.
• 유럽에 거주하는 Tigrinya 어원의 난민들이 신경 기계 번역을 통해 双방향 소통이 가능하게 하여 정보 접근성을 향상시키기 위해.
• 제한된 병렬 데이터를 활용하여 인도적 상황에 맞는 도메인 적응 번역 시스템을 개발하기 위해.
• 비영리 단체 및 인도적 지원 조직이 활용할 수 있도록 오픈소스 파이프라인과 공개 데모 애플리케이션을 제공하기 위해.

제안 방법

• 시스템은 Tigrinya와 Amharic를 포함한 여러 Ge'ez 문자 언어에서 온 총 145만 개 문장의 혼합 코퍼스를 기반으로 다국어 사전 훈련 단계를 수행한다.
• 전이 학습은 먼저 다국어 데이터 세트에서 6층, 8헤드 Transformer 모델을 훈련한 후 Tigrinya 전용 데이터로 미세조정하는 방식을 취한다.
• 번역 품질 향상을 위해 내부적으로 확보한 인도적 지원 분야 데이터셋(2,300개의 Tigrinya-영어 문장 쌍)으로 모델을 추가로 미세조정한다.
• Ge'ez 및 라틴 문자 토크나이제이션 모두에 대해 6,000개의 서브워드 유닛을 사용하는 바이트-페어 인코딩(BPE)을 적용하며, Ge'ez 문자의 경우标 punctuations를 고려한 토크나이제이션을 사용한다.
• 훈련 파이프라인은 OpenNMT-py 툴킷을 사용하며, Adam 옵timizer를 적용하고, 4,000단계의 웜업 스텝과 검증 퍼플렉서티 기반 조기 정지 전략을 사용한다.
• 평가에서는 표준 평가 지표인 BLEU, ChrF, Meteor를 사용하며, 200개 문장의 별도 테스트 세트를 활용한다.

실험 결과

연구 질문

• RQ1 고자원 Ge'ez 문자 언어에서의 전이 학습이 저자원 Tigrinya-영어 신경 기계 번역 성능 향상에 기여할 수 있는가?
• RQ2 Tigrinya 전용 데이터로 훈련을 시작하는 것과 비교해 다국어 사전 훈련이 번역 품질에 어떤 영향을 미치는가?
• RQ3 인도적 지원 텍스트에 특화된 미세조정이 Tigrinya 번역 성능 향상에 어느 정도 기여하는가?
• RQ4 제한된 병렬 데이터만을 활용할 때 Tigrinya용 신경 기계 번역 시스템이 실제 인도적 상황에서 효과적으로 구현될 수 있는가?
• RQ5 다국어 사전 훈련과 도메인 내 미세조정을 결합했을 때 BLEU 및 ChrF와 같은 자동 평가 지표에 어떤 영향을 미치는가?

주요 결과

• 다국어 사전 훈련 접근법은 기준 모델 대비 BLEU 점수를 1.3 포인트 향상시켜 테스트 세트에서 23.60 BLEU를 달성했다.
• 도메인 내 미세조정 이후 ChrF 점수는 46.51에서 49.59로 3.1 포인트 향상되었다.
• Meteor 점수는 기준 모델의 26.10에서 최종 모델의 27.04로 0.94 포인트 상승했다.
• 최종 모델은 BLEU(+1.32), ChrF(+3.10), Meteor(+0.94)의 세 가지 자동 평가 지표에서 모두 기준 모델을 능가했다.
• 모델는 성공적으로 공개 데모 애플리케이션으로 구현되어 http://gamayun.translatorswb.org/tigrinya 에 배포되었으며, 이는 첫 번째 신경 기계 번역 Tigrinya-영어 번역기이다.
• 오픈소스 훈련 파이프라인과 모델 가중치가 향후 개발 및 인도적 목적을 위해 공개되었다.