[논문 리뷰] Towards Supervised and Unsupervised Neural Machine Translation Baselines for Nigerian Pidgin

Orevaoghene Ahia, Kelechi Ogueji|arXiv (Cornell University)|2020. 03. 27.

Natural Language Processing Techniques참고 문헌 5인용 수 13

한 줄 요약

이 논문은 영어-나이지리아 피진어 번역을 위한 지도 학습 및 비지도 학습 신경 기계 번역(NMT) 기준 성능을 제시한다. 트랜스포머 모델을 사용하고 단어 수준 및 바이트 쌍 인코딩(BPE) 토큰화를 적용하였다. 최고의 성능을 보인 모델은 BPE 토큰화를 사용한 지도 학습 NMT 시스템으로, 영어에서 피진어로의 번역에서 BLEU 점수 24.29를 기록하였으며, 비지도 학습 및 단어 수준 모델보다 유의하게 뛰어나, 저자원 아프리카 언어 번역 분야의 기초 기준을 설정하였다.

ABSTRACT

Nigerian Pidgin is arguably the most widely spoken language in Nigeria. Variants of this language are also spoken across West and Central Africa, making it a very important language. This work aims to establish supervised and unsupervised neural machine translation (NMT) baselines between English and Nigerian Pidgin. We implement and compare NMT models with different tokenization methods, creating a solid foundation for future works.

연구 동기 및 목표

• 나이지리아 피진어는 저자원 언어이지만 서아프리카에서 높은 사회언어학적 중요성을 지닌 언어이므로, 이에 대한 첫 번째 지도 학습 및 비지도 학습 신경 기계 번역 기준 성능을 수립하기 위함.
• 다양한 토큰화 전략—단어 수준 및 BPE—이 영어-피진어 번역의 NMT 성능에 미치는 영향을 평가하기 위함.
• 영어 인터넷 콘텐츠에 접근할 수 있도록 나이지리아어 사용자들을 지원하기 위해 기계 번역을 통해 디지털 격차를 해소하기 위함.
• 저자원 아프리카 언어 NLP 분야의 향후 연구를 위한 기반을 마련하기 위해 코드, 데이터, 훈련된 모델을 공개하기 위함.

제안 방법

• 모든 모델에 대해 4~6개의 인코더 및 디코더 레이어, 10개의 어텐션 헤드, 임bedding 차원을 각각 300(단어 수준) 또는 256(BPE)로 설정한 트랜스포머 아키텍처를 사용하였다.
• BPE 서브워드 토큰화를 적용하여 4000개의 학습된 서브워드를 사용함으로써, 특히 형태적으로 복잡하거나 드문 피진어 단어의 OOV(Out-of-Vocabulary) 처리를 향상시켰다.
• 지도 학습 모델은 JW300 병렬 코퍼스를 사용하여 JoeyNMT 툴킷으로 훈련하였으며, 훈련에 20214개 문장 쌍, 검증에 1000개 문장 쌍을 사용하였다.
• 비지도 학습 모델은 Ogueji & Ahia(2019) 프레임워크를 사용하여 병렬 데이터 없이 단일 언어 데이터와 적대적 훈련을 활용하였다.
• 평가 시험 세트로는 Masakhane 그룹이 사전 처리한 2101개 문장 쌍을 사용하였으며, 주요 평가 지표로 BLEU 점수를 사용하였다.
• 최고의 성능을 보인 모델은 최고의 테스트 BLEU 점수를 기반으로 선정되었으며, 의미적 정확도 평가를 위해 모국어 사용자들의 정성 있는 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 지도 학습 및 비지도 학습 NMT 모델은 영어-나이지리아 피진어 번역에서 성능 면에서 어떻게 비교되는가?
• RQ2 단어 수준 토큰화와 BPE 서브워드 토큰화는 저자원 아프리카 언어, 예를 들어 나이지리아 피진어 번역의 NMT 성능에 어떤 영향을 미치는가?
• RQ3 비지도 학습 NMT 모델은 병렬 데이터 없이도 의미적으로 정확한 번역을 생성할 수 있는가? 그리고 지도 학습 기준 성능과 비교해 볼 때 어떤가?
• RQ4 BPE가 일반적으로 저자원 환경에서 슈퍼리어한 성능을 보임에도 불구하고, 왜 피진어 → 영어 번역에서는 단어 수준 토큰화가 BPE를 능가하는가?

주요 결과

• BPE 토큰화를 사용한 지도 학습 NMT 모델이 영어 → 피진어 번역에서 최고의 BLEU 점수 24.29를 기록하였으며, 비지도 학습 모델(5.18)과 단어 수준 지도 학습 모델(17.73)보다 유의미하게 뛰어났다.
• 피진어 → 영어 번역에서는 단어 수준 지도 학습 모델이 BLEU 점수 24.67을 기록하여 비지도 학습 모델(7.93)과 BPE 지도 학습 모델(13.00)을 모두 앞섰다.
• 피진어 → 영어 번역에서 BPE보다 단어 수준 토큰화가 더 좋은 성능을 보였으며, 이는 서브워드 분할이 나이지리아 피진어의 형태구문적 구조를 방해할 수 있음을 시사한다.
• 비지도 학습 모델은 BLEU 점수가 낮았음에도 불구하고, 모국어 사용자들이 의미적으로 정확하다고 평가하여, 표면 형태가 다를지라도 의미 보존 능력이 뛰어나다는 것을 시사한다.
• 이 연구는 향후 나이지리아 피진어에 대한 NMT 연구를 위한 강력한 기준을 수립하였으며, 코드, 데이터, 모델을 공개하여 재현성과 확장성을 확보하였다.
• 정성 분석을 통해 비지도 학습 모델이 기준 번역과 정확히 일치하지 않더라도 유창하고 의미 있는 번역을 생성할 수 있음을 확인하였다.