[논문 리뷰] Igbo-English Machine Translation: An Evaluation Benchmark

Ignatius Ezeani, Paul Rayson외 3명|arXiv (Cornell University)|2020. 04. 01.

Natural Language Processing Techniques참고 문헌 6인용 수 14

한 줄 요약

이 논문은 Igbo-영어 기계 번역을 위한 새로 제작된 고품질의 인간 레이블링이 적용된 기준 데이터셋을 제시한다. 이 데이터셋은 11,584개의 병렬 문장 쌍과 380,000개 이상의 단일어 Igbo 문장으로 구성되어 있으며, 체계적인 데이터 수집, 모국어 번역가에 의한 수작업 번역, 철저한 품질 관리를 통해 제작되어 저자원 아프리카어 모델의 평가 및 훈련을 위한 신뢰할 수 있는 기반을 제공한다.

ABSTRACT

Although researchers and practitioners are pushing the boundaries and enhancing the capacities of NLP tools and methods, works on African languages are lagging. A lot of focus on well resourced languages such as English, Japanese, German, French, Russian, Mandarin Chinese etc. Over 97% of the world's 7000 languages, including African languages, are low resourced for NLP i.e. they have little or no data, tools, and techniques for NLP research. For instance, only 5 out of 2965, 0.19% authors of full text papers in the ACL Anthology extracted from the 5 major conferences in 2018 ACL, NAACL, EMNLP, COLING and CoNLL, are affiliated to African institutions. In this work, we discuss our effort toward building a standard machine translation benchmark dataset for Igbo, one of the 3 major Nigerian languages. Igbo is spoken by more than 50 million people globally with over 50% of the speakers are in southeastern Nigeria. Igbo is low resourced although there have been some efforts toward developing IgboNLP such as part of speech tagging and diacritic restoration

연구 동기 및 목표

• 저자원 아프리카어인 Igbo-영어 기계 번역을 위한 고품질의 표준화된 평가 데이터의 심각한 부족을 해결하기 위해.
• 모국어가 확인된 현대적이고 도메인 관련성 있는(뉴스 기반) 문장 쌍을 Igbo-영어 및 영어-Igbo 양방향으로 포함한 기준 데이터셋을 구축하기 위해.
• 뉴스, 라디오, 문학, 종교적 텍스트 등 다양한 출처에서 수집한 자료를 바탕으로, 목표로 하는 100,000개 문장 이상의 단일어 Igbo 어휘를 정제하고 구축하기 위해.
• NLP 연구의 재현 가능성을 높이고 Igbo NLP 분야의 모델 개발을 지원하기 위해, 공개적으로 Creative Commons 라이선스 하에 데이터셋을 배포하기 위해.
• 저자원 아프리카어를 대상으로 한 최신 기계 번역 모델의 비교 연구를 위한 기초를 마련하기 위해.

제안 방법

• BBC Igbo, 지역 신문, 정부 자료, Igbo 문학, JW.org 어휘 등 다양한 출처에서 원시 병렬 및 단일어 Igbo 및 영어 텍스트를 수집하였다.
• 모든 데이터를 정규화, 음절 부호 복원, 철자 수정을 통해 전처리하여 언어적 일관성과 품질을 확보하였다.
• 모국어인 Igbo 어를 사용하는 번역가 5명이 약 250개 문장씩의 단위로 양방향 번역(EN→IG 및 IG→EN)을 수행하였다.
• 번역 정확성과 자연스러움을 확보하기 위해 번역가 간 절대 동의 기준을 적용한 수작업 후처리 및 품질 검사를 실시하였다.
• 일반화 능력 향상과 장르 편향 감소를 위해 현대적이고 종교적이지 않은 뉴스 도메인 콘텐츠를 우선시하였다.
• 단일어 Igbo 데이터에 대한 수집 및 정제 작업을 계속하여, BBC Igbo, Igbo 라디오, 종교 출판물(예: Watchtower, Awake!) 등에서 380,000개 이상의 문장을 이미 처리하였다.

실험 결과

연구 질문

• RQ1 저자원 아프리카어인 Igbo에 대해 고품질의 인간 레이블링이 적용된 기준 데이터셋을 어떻게 체계적으로 구축할 수 있는가?
• RQ2 다양하고 종교적이지 않으며 현대적인 뉴스 도메인 콘텐츠를 사용할 경우, Igbo-영어 MT 평가의 신뢰성과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 수작업 번역 및 다수 평가자 간 일致성 절차는 저자원 환경에서 병렬 문장 쌍의 품질을 얼마나 향상시킬 수 있는가?
• RQ4 다양한 출처에서 확보한 단일어 Igbo 데이터를 효과적으로 정제하고 정제하여 강력한 신경 기계 번역 훈련을 지원할 수 있는가?
• RQ5 공개적으로 공유되고 표준화된 데이터셋은 부족한 아프리카어를 대상으로 한 NLP 연구 발전에 어떤 역할을 할 수 있는가?

주요 결과

• 11,584개의 병렬 문장 쌍(5,836개 IG-EN 및 5,748개 EN-IG)으로 구성된 기준 데이터셋을 성공적으로 제작하고 공개하였다. 개발, 테스트, 숨겨진 테스트 분할이 명확히 정의되어 있다.
• BBC Igbo, Igbo 라디오, 종교 출판물 등 다양한 출처에서 확보한 380,000개 이상의 단일어 Igbo 문장을 수집하고 전처리하였으며, 현대적이고 비신학적인 콘텐츠를 중점적으로 다루었다.
• 5명의 모국어 Igbo 번역가와 전문 리뷰어 3명(언어학자 포함)이 참여한 엄격한 수작업 번역 및 보정 프로세스를 통해 데이터셋을 구축하였다.
• GitHub 레포지토리를 통해 Creative Commons 라이선스 하에 공개되어 있어 NLP 연구 공동체의 접근성과 재현 가능성이 보장된다.
• 이 프로젝트는 향후 Igbo-영어 번역을 위한 모델 훈련, 평가, 최신 기계 번역 시스템의 비교 분석을 위한 기초를 마련하였다.
• 저자들은 데이터셋 크기 확대 및 번역 품질 향상을 위한 지속적인 노력을 기록하고 있으며, 프로젝트 진행 상황에 따라 결과를 발표할 계획이다.