[논문 리뷰] Towards Neural Machine Translation for Edoid Languages

Iroro Orife|arXiv (Cornell University)|2020. 03. 24.

Natural Language Processing Techniques참고 문헌 8인용 수 6

한 줄 요약

이 논문은 JW300 병렬 코퍼스를 사용하여 Ẹ̀dó, Ésán, Urhobo, Isoko 네 종류의 에도이드어에 대한 최초의 신경 기계 번역(NMT) 모델을 제시한다. BPE 토크나이제이션은 Ẹ̀dó와 Ésán의 BLEU 점수를 크게 향상시켰으며, 최대 37% 향상되었다. 반면 Isoko에서는 단어 수준 토크나이제이션이 BPE를 능가했으며, 테스트 세트에서 최고 BLEU 점수는 38.91에 달했다.

ABSTRACT

Many Nigerian languages have relinquished their previous prestige and purpose in modern society to English and Nigerian Pidgin. For the millions of L1 speakers of indigenous languages, there are inequalities that manifest themselves as unequal access to information, communications, health care, security as well as attenuated participation in political and civic life. To minimize exclusion and promote socio-linguistic and economic empowerment, this work explores the feasibility of Neural Machine Translation (NMT) for the Edoid language family of Southern Nigeria. Using the new JW300 public dataset, we trained and evaluated baseline translation models for four widely spoken languages in this group: Èdó, Ésán, Urhobo and Isoko. Trained models, code and datasets have been open-sourced to advance future research efforts on Edoid language technology.

연구 동기 및 목표

• 나이지리아의 자원이 부족한 에도이드어에 대한 기초 신경 기계 번역(NMT) 모델을 개발하고 평가하기 위해.
• 소수어 사용자들에게 기술적 접근성과 능력을 제공함으로써 언어적 불평등을 해소하기 위해.
• 다양한 토크나이제이션 전략(BPE 대비 단어 수준)이 자원이 부족한 언어의 번역 성능에 미치는 영향을 탐구하기 위해.
• 특히 구술 전통이 있는 언어들을 위한 언어 기록 및 보존을 기계 번역을 통해 지원하기 위해.
• 아프리카어를 위한 향후 음성-음성 및 다국어 NLP 도구 개발의 기초를 마련하기 위해.

제안 방법

• JW300 병렬 코퍼스를 기반으로 JoeyNMT 툴킷을 사용해 Transformer 기반 NMT 모델을 훈련시켰다.
• 이전의 자원이 부족한 아프리카어 연구에 기반해 4,000개의 서브워드 유닛을 사용한 바이트 페어 인코딩(BPE) 서브워드 토크나이제이션을 적용했다.
• 네 종류의 에도이드어 전반에 걸쳐 BPE와 단어 수준 토크나이제이션을 비교하는 분석 실험을 수행했다.
• Google Colab의 무료 GPU 및 CPU 자원을 활용해 훈련을 수행했으며, 각 언어와 토크나이제이션 유형에 대해 여러 차례 재훈련을 실시했다.
• 모델의 일반화 능력을 향상시키기 위해 훈련 데이터에서 성경적 주석(예: 책, 장, 절 번호)을 제거하는 전처리 작업을 수행했다.
• 개발 및 테스트 세트에서 BLEU 점수를 사용해 모델 성능을 평가하였으며, 현지어 모국어 사용자(L1)의 정성 있는 질적 검증도 실시했다.

실험 결과

연구 질문

• RQ1 BPE 대비 단어 수준 토크나이제이션과 같은 다양한 토크나이제이션 전략이 자원이 부족한 에도이드어의 NMT 성능에 어떤 영향을 미치는가?
• RQ2 JW300 병렬 코퍼스를 사용할 때 Ẹ̀dó, Ésán, Urhobo, Isoko의 기초 번역 품질은 어느 정도인가?
• RQ3 예를 들어 절 번호와 같은 메타데이터가 포함된 데이터 품질이 모델 성능에 어느 정도 영향을 미치는가?
• RQ4 성경 텍스트를 기반으로 훈련된 NMT 모델이 이 언어들의 일반적인 언어 사용 사례로 일반화될 수 있는가?
• RQ5 Ẹ̀dó와 Ésán이 Isoko의 현재 성능 수준에 도달하기 위해 추가로 얼마나 많은 청소된 텍스트가 필요한가?

주요 결과

• BPE 토크나이제이션은 Ẹ̀dó에 대해 37% 향상된 BLEU 점수를, Urhobo에 대해선 32% 향상된 점수를 기록했다. 단어 수준 토크나이제이션 대비.
• Isoko의 경우 단어 수준 토크나이제이션이 BPE를 능가했으며, 테스트 세트에서 최고 BLEU 점수 38.91을 기록했다. 이는 모든 언어 중에서 가장 높은 점수였다.
• Ẹ̀dó와 Ésán는 낮은 BLEU 점수(각각 테스트: 12.49, 6.25)를 보였지만, 여전히 측정 가능한 번역 능력을 보였다.
• Isoko 모델은 개발 세트에서 BLEU 점수 38.05, 테스트 세트에서 38.91을 기록해 자원이 부족한 언어로서 강력한 성능을 보였다.
• 오류 분석 결과, 훈련 데이터에 포함된 성경적 메타데이터(예: 장 및 절 번호)가 모델의 일반화 능력에 심각한 영향을 미쳤다.
• 본 연구는 성능 기준과 데이터 요구량 추정치를 제공하였으며, Ẹ̀dó와 Ésán가 Isoko의 현재 성능 수준에 도달하기 위해 더 많은 청소된 텍스트가 필요할 것으로 추정된다.