[논문 리뷰] English-Twi Parallel Corpus for Machine Translation

Paul Azunre, Salomey Osei외 25명|arXiv (Cornell University)|2021. 03. 29.

Natural Language Processing Techniques참고 문헌 17인용 수 5

한 줄 요약

이 논문은 기계 번역 모델을 훈련하고 평가하기 위한 25,421개 문장의 영어-티위 평행 코퍼스를 제시한다. 트랜스포머 기반 모델을 사용해 초안 번역을 생성한 후, 원어민이 번역의 자연스러움을 검토하여 번역스러운 번역(translationese)을 제거한다. 이 데이터셋은 신경 기반 기계 번역 모델의 미세조정을 가능하게 하며, 고품질의 697개 문장으로 구성된 평가 세트를 포함하고 있어, 아쿠아페姆 티위에 대한 저자원 NLP 분야에서 중대한 진전을 이룬다.

ABSTRACT

We present a parallel machine translation training corpus for English and Akuapem Twi of 25,421 sentence pairs. We used a transformer-based translator to generate initial translations in Akuapem Twi, which were later verified and corrected where necessary by native speakers to eliminate any occurrence of translationese. In addition, 697 higher quality crowd-sourced sentences are provided for use as an evaluation set for downstream Natural Language Processing (NLP) tasks. The typical use case for the larger human-verified dataset is for further training of machine translation models in Akuapem Twi. The higher quality 697 crowd-sourced dataset is recommended as a testing dataset for machine translation of English to Twi and Twi to English models. Furthermore, the Twi part of the crowd-sourced data may also be used for other tasks, such as representation learning, classification, etc. We fine-tune the transformer translation model on the training corpus and report benchmarks on the crowd-sourced test set.

연구 동기 및 목표

• 가나어 중 특히 저자원 언어인 아쿠아페姆 티위에 대해 신뢰할 수 있는 기계 번역 시스템의 부족을 해결하기 위해.
• 신경 기계 번역 모델의 훈련 및 평가를 지원하기 위한 고품질의 인간 검증 평행 코퍼스를 구축하기 위해.
• 티위에서 명칭 엔터티 인식 및 품사 태깅과 같은 후행 NLP 작업을 촉진하기 위해.
• 공개적이고 커뮤니티 기반의 데이터 수집을 통해 디지털 시대에 아쿠아페姆 티위의 접근성과 보존을 향상시키기 위해.
• 공개적으로 이용 가능한, 언어학적으로 정확한 자원을 제공함으로써 아프리카 NLP의 성장을 지원하기 위해.

제안 방법

• 초기 영어-티위 번역을 생성하기 위해 트랜스포머 기반 신경 기계 번역 모델(OPUS-MT)을 사용하였다.
• 원어민 티위 어원이 번역 결과를 검토하고 수정하여 번역스러운 번역(translationese)을 제거하고 유창성을 향상시켰다.
• 별도로 고품질의 697개 문장 쌍으로 구성된 코퍼스를 가나 전역의 원어민으로부터 구글 폼을 통해 공동으로 수집하였다.
• 훈련 코퍼스를 사용해 트랜스포머 번역 모델을 미세조정하였으며, 성능은 공동으로 수집된 테스트 세트에서 평가하였다.
• 데이터셋은 모델 훈련과 평가 모두를 지원하도록 설계되었으며, 표현 학습 및 기타 NLP 작업에 응용 가능성이 있다.
• 프로젝트는 마이크로소프트 포 스타트업과 AI4D의 외부 지원을 받아 GPU 자원과 자금을 확보하였다.

실험 결과

연구 질문

• RQ1 디지털 존재가 제한된 가나어인 아쿠아페姆 티위에 대해 저자원 평행 코퍼스를 어떻게 고품질로 구축할 수 있는가?
• RQ2 기계 번역 결과의 인간 후처리가 아쿠아페姆 티위의 유창성과 정확도에 얼마나 기여하는가?
• RQ3 미세조정된 트랜스포머 모델이 원어민 티위 번역을 위한 전용 평가 세트에서 향상된 성능을 달성할 수 있는가?
• RQ4 커뮤니티 기반 데이터가 아프리카어의 품질과 문화적 관련성을 향상시키는 데 어떤 역할을 할 수 있는가?
• RQ5 공개적이고 누구나 이용 가능한 데이터셋은 아쿠아페姆 티위와 같은 저자원 아프리카어의 NLP 연구를 어떻게 가속화할 수 있는가?

주요 결과

• 최종 훈련 코퍼스는 영어와 아쿠아페姆 티위의 문장 쌍 총 25,421개로 구성되어 있으며, 원어민의 검토를 통해 유창성과 정확도를 확보하였다.
• 평가 세트는 가나 전역의 원어민 티위 어원으로부터 공동으로 수집된 697개의 고품질 문장 쌍으로 구성되어 있으며, MT 모델 테스트에 적합하다.
• 인간 검증 코퍼스를 기반으로 트랜스포머 모델을 미세조정한 결과, 번역 품질이 향상되었으며, 특히 직역적이거나 관용어가 아닌 번역을 줄이는 데 효과적이었다.
• 예시에서는 초도 기계 번역이 문법적으로는 올바르지만 의미적 정확도를 확보하기 위해 인간의 보완이 필요함을 보여주었는데, 예를 들어 'I've gotten better'가 잘못 번역되어 'M'ani agye yiye'로 나온 바 있다.
• 특정 번역 오류도 확인되었으며, 'turn on the gas'가 'fa w'ani si gaas no so'로 잘못 번역된 사례는 지속적인 코퍼스 정제의 필요성을 시사한다.
• 본 연구는 저자원 언어에서 고품질이고 문화적으로 적절한 번역을 달성하기 위해 인간이 개입하는 데이터 코호르팅이 필수적임을 입증한다.