[논문 리뷰] PidginUNMT: Unsupervised Neural Machine Translation from West African Pidgin to English

Kelechi Ogueji, Orevaoghene Ahia|arXiv (Cornell University)|2019. 12. 07.

Natural Language Processing Techniques인용 수 9

한 줄 요약

이 논문은 서아프리카 피지니즈 영어로의 초기 비지도 신경 기계 번역(UNMT) 시스템을 제시하며, 새로 구축한 56,695문장의 피지니즈 어휘자료, 다국어 단어 임베딩, 그리고 적대적 훈련과 역번역을 통한 공유 인코더/디코더 아키텍처를 활용한다. 모델은 피지니즈에서 영어로의 번역에서 BLEU 점수 7.93과 영어에서 피지니즈로의 번역에서 BLEU 점수 5.18을 기록하여, 이 저자원 언어에 대한 NLP 분야의 첫 번째 돌파구를 이룩한다.

ABSTRACT

Over 800 languages are spoken across West Africa. Despite the obvious diversity among people who speak these languages, one language significantly unifies them all - West African Pidgin English. There are at least 80 million speakers of West African Pidgin English. However, there is no known natural language processing (NLP) work on this language. In this work, we perform the first NLP work on the most popular variant of the language, providing three major contributions. First, the provision of a Pidgin corpus of over 56000 sentences, which is the largest we know of. Secondly, the training of the first ever cross-lingual embedding between Pidgin and English. This aligned embedding will be helpful in the performance of various downstream tasks between English and Pidgin. Thirdly, the training of an Unsupervised Neural Machine Translation model between Pidgin and English which achieves BLEU scores of 7.93 from Pidgin to English, and 5.18 from English to Pidgin. In all, this work greatly reduces the barrier of entry for future NLP works on West African Pidgin English.

연구 동기 및 목표

• 서아프리카 피지니즈 영어에 대한 NLP 자원 부족 문제를 해결하기 위해, 약 8,000만 명의 사용자가 있는 널리 쓰이지만 자원이 부족한 언어에 대응한다.
• 미래의 저자원 아프리카 언어 NLP 연구를 가능하게 하기 위해, 공개 가능한 가장 큰 피지니즈-영어 대조 어휘자료를 구축한다.
• 후속 다국어 NLP 작업을 지원하기 위해 피지니즈와 영어 간의 첫 번째 교차 언어 단어 임베딩을 훈련한다.
• 병렬 단일 언어 데이터 없이도 피지니즈-영어 번역을 위한 비지도 신경 기계 번역 모델을 개발하고 평가한다.
• 데이터, 코드, 훈련된 모델을 공개하여 아프리카 언어 NLP 연구의 진입 장벽을 낮춘다.

제안 방법

• 뉴스 웹사이트에서 56,695문장의 단일 언어 피지니즈 어휘자료를 수집한 후, 광범위한 정제를 통해 알려진 바 있는 가장 큰 피지니즈 데이터셋을 구성한다.
• 피지니즈 어휘자료에서 GloVe 초기화된 CBOW를 사용하여 첫 번째 피지니즈 단어 임베딩을 훈련하여 전반적이고 국소적인 맥락을 포착한다.
• 비지도 단일 언어 매핑을 통해 교차 언어 단어 임베딩을 학습하여 번역 검색 정밀도 0.1282를 달성(무작위 기준 0.009 대비).
• 공유 인코더/디코더 아키텍처를 사용한 비지도 NMT 모델을 구현하며, 적대적 훈련, 노이즈 제거 오토인코더, 실시간 역번역을 통합한다.
• 학습률 0.0003, 배치 크기 16, V100 GPU에서 8 에포크 동안 Adam 옵timizer를 사용해 모델을 훈련하고, 언어 정체성 분리 목적의 판별기 손실을 적용한다.
• JW300 데이터셋에서 확보한 2,101개 문장 쌍의 보류 테스트 세트에서 BLEU 점수를 기반으로 최고의 모델을 선정한다.

실험 결과

연구 질문

• RQ1 대규모 고품질의 단일 언어 피지니즈 어휘자료를 NLP 작업에 효과적으로 수집하고 정제할 수 있는가?
• RQ2 병렬 감독 없이도 비지도 교차 언어 단어 임베딩이 피지니즈와 영어의 단어 표현을 얼마나 잘 정렬할 수 있는가?
• RQ3 단일 언어 데이터만을 사용하여 비지도 신경 기계 번역 모델이 피지니즈와 영어 간의 번역에 얼마나 효과적인가?
• RQ4 병렬 병렬 데이터 없이도 피지니즈-영어 및 영어-피지니즈 양방향에서 달성 가능한 BLEU 점수는 얼마인가?
• RQ5 제안된 시스템은 서아프리카 피지니즈와 같은 저자원 아프리카 언어에 대한 향후 NLP 연구의 실질적인 기준이 될 수 있는가?

주요 결과

• 본 연구는 공개 가능한 첫 번째 피지니즈-영어 어휘자료(56,695문장, 32,925개 고유어)를 제공하며, 이로 인해 언어의 자원 가용성이 크게 확장된다.
• 비지도 교차 언어 임베딩 방법은 번역 검색 정밀도 0.1282를 달성하여 무작위 기준 0.0093보다 뚜렷이 뛰어난 성능을 보였다.
• 비지도 NMT 모델은 보류 테스트 세트에서 피지니즈-영어 방향으로 BLEU 점수 7.93, 영어-피지니즈 방향으로 BLEU 점수 5.18를 기록하였다.
• 질적 번역 예시는 모델이 의미적 의미와 문법적 구조를 포착하고 있음을 보여주지만, 대명사 사용 및 어순 오류는 종종 발생한다.
• 모델의 성능는 병렬 데이터가 극히 적은 저자원 언어에 비지도 NMT를 적용할 수 있음을 입증하며, 특히 단일 언어 미사전 훈련과 역번역을 결합할 경우 더욱 유망하다.
• 저자들은 GitHub에 데이터, 코드, 훈련된 모델을 공개하여 재현 가능성과 아프리카 언어 NLP 분야의 향후 기준 설정을 가능하게 하였다.