[논문 리뷰] Improving Yorùbá Diacritic Restoration

Iroro Orife, David Ifeoluwa Adelani외 5명|arXiv (Cornell University)|2020. 03. 23.

Agriculture and Rural Development Research인용 수 5

한 줄 요약

이 논문은 Yorùbá 음절 표기 복원(Accessible Diacritic Restoration, ADR)을 향상시키기 위해 성경 외의 다양한 출처—OCR 처리된 소설, 뉴스, 대화체 텍스트—로부터 훈련 데이터를 확장함으로써, FastText 임베딩을 사용한 Transformer 모델을 통해 59.80 BLEU 점수를 기록하였으며, 이는 이전의 모델들보다 유의하게 뛰어난 성능을 보였다. 이 방법은 일상어 및 코드 스위칭 언어에 대한 일반화 능력을 향상시켜 실제 NLP 응용 분야에서 Yorùbá 언어 처리에 있어 핵심적인 기여를 한다.

ABSTRACT

Yorùbá is a widely spoken West African language with a writing system rich in orthographic and tonal diacritics. They provide morphological information, are crucial for lexical disambiguation, pronunciation and are vital for any computational Speech or Natural Language Processing tasks. However diacritic marks are commonly excluded from electronic texts due to limited device and application support as well as general education on proper usage. We report on recent efforts at dataset cultivation. By aggregating and improving disparate texts from the web and various personal libraries, we were able to significantly grow our clean Yorùbá dataset from a majority Bibilical text corpora with three sources to millions of tokens from over a dozen sources. We evaluate updated diacritic restoration models on a new, general purpose, public-domain Yorùbá evaluation dataset of modern journalistic news text, selected to be multi-purpose and reflecting contemporary usage. All pre-trained models, datasets and source-code have been released as an open-source project to advance efforts on Yorùbá language technology.

연구 동기 및 목표

• 기존 ADR 모델이 일상어, 대화체, 코드 스위칭 Yorùbá 텍스트에 대해 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 다양한 언어적 도메인에서의 모델 성능 향상으로 비음절 표기 Yorùbá 텍스트의 모호성을 줄이기 위해.
• 실제 전자 텍스트를 고도로 정확하게 처리할 수 있는 강력하고 오픈소스 ADR 시스템을 개발하기 위해.
• 제한된 종교 문헌 외의 고품질 훈련 데이터를 확장하여 모델 성능을 향상시키기 위해.
• Yorùbá 언어 기술을 위한 사용자 친화적 응용 프로그램 및 기기에서 ADR를 실질적으로 구현할 수 있도록 하기 위해.

제안 방법

• 공용 영역에서 확보한 다양한 Yorùbá 텍스트를 수집하고 정제하였으며, 뉴스(Global Voices), 소설(Háà Ènìyàn), 속담, 인권선언서 등을 포함하였다.
• 상용 OCR 소프트웨어를 사용해 스캔된 책을 처리하였으며, 영어, 루마니아어, 베트남어 문자를 포함시켜 Yorùbá 문자 집합을 근사하였다.
• 전문가가 2주간 20,038개의 단어를 소설 텍스트에 대해 수작업으로 수정하는 인간-기계 협업 보정 파이프라인을 구현하였다.
• AWS p3.2xlarge 인스턴스를 사용해 OpenNMT-py를 기반으로 소프트 어텐션 seq2seq 및 Transformer 기반 모델을 훈련시켰다.
• FastText 단어 임베딩을 도입하여 ADR 성능에 미치는 영향을 평가하였다.
• Global Voices에서 확보한 새로운 현대적 테스트 세트를 사용해 BLEU, 퍼플렉서티, 단어 오류율(WER)을 기반으로 모델을 평가하였다.

실험 결과

연구 질문

• RQ1 종교 문헌 외의 다양한 훈련 데이터 확장을 통해 일상어 및 대화체 Yorùbá 텍스트에 대한 ADR 모델의 일반화 능력은 어떻게 향상되는가?
• RQ2 사전 학습된 FastText 임베딩이 다양한 모델 아키텍처 전반에서 ADR 성능에 얼마나 기여하는가?
• RQ3 희귀어, 숫자를 포함한 단어 또는 코드 스위칭 입력에 대해 ADR 모델은 얼마나 견고한가?
• RQ4 Yorùbá ADR에서 소프트 어텐션 seq2seq 모델 대비 Transformer 아키텍처를 사용할 경우 성능 향상은 어느 정도인가?
• RQ5 저널리즘 기반의 새로운 현대적 평가 데이터셋은 기존의 문학적 문헌 코퍼스보다 실제 ADR 과제를 더 잘 반영하는가?

주요 결과

• 모든 신규 훈련 데이터와 FastText 임베딩을 적용한 최고의 성능을 보인 모델은 Global Voices 테스트 세트에서 BLEU 점수 59.80을 기록하였다.
• JW300를 제외한 모든 신규 데이터 소스를 추가함으로써 BLEU 점수는 26.53에서 43.39로 상승하여 상대적 향상률 64.4%를 기록하였다.
• JW300의 포함은 기준 모델 대비 상대적 BLEU 점수 33% 향상과 절대적 WER 11% 감소를 가져왔다.
• 전체 데이터와 FastText 임베딩을 적용한 Transformer 모델은 WER 22.42%를 기록하였으며, 기준 모델의 58.17% 대비 상대적 감소율 61.4%를 기록하였다.
• 희귀 토큰이나 코드 스위칭 입력에 대해서도 모델은 OOV(Out-of-Vocabulary)나 오류가 발생하더라도 이후 단어의 정확한 음절 표기를 유추하는 등 유연한 성능 저하를 보였다.
• FastText 임베딩은 Transformer 모델에 대해 작은 그러나 일관된 성능 향상을 제공하였으나, 소프트 어텐션 모델에 대해서는 다양한 지표에서 결과가 엇갈렸다.