[논문 리뷰] Massive vs. Curated Word Embeddings for Low-Resourced Languages. The Case of Yorùbá and Twi

Jesujoba O. Alabi, Kwabena Amponsah-Kaakyire외 2명|arXiv (Cornell University)|2019. 12. 05.

Natural Language Processing Techniques참고 문헌 27인용 수 8

한 줄 요약

이 논문은 저자원 아프리카어인 요르바와 투위를 대상으로, 위키피디아 및 커몬 크롤 등에서 자동으로 수집된 대규모 단어 임베딩과 정제된 고품질 코퍼스를 비교한다. 데이터 품질이 양보다 훨씬 뛰어나, 각각 39%와 44%의 단어 유사도 상관관계(대비로 대규모 임베딩의 14%)를 달성함을 보여주며, 언어 특화 전처리 및 아키텍처 선택(예: 문자 수준 모델)이 성능 향상에 기여함을 입증한다. 특히 단일 언어 요르바 데이터로 다국어 BERT를 미세조정할 경우 성능 향상이 두드러진다.

ABSTRACT

The success of several architectures to learn semantic representations from unannotated text and the availability of these kind of texts in online multilingual resources such as Wikipedia has facilitated the massive and automatic creation of resources for multiple languages. The evaluation of such resources is usually done for the high-resourced languages, where one has a smorgasbord of tasks and test sets to evaluate on. For low-resourced languages, the evaluation is more difficult and normally ignored, with the hope that the impressive capability of deep learning architectures to learn (multilingual) representations in the high-resourced setting holds in the low-resourced setting too. In this paper we focus on two African languages, Yorùbá and Twi, and compare the word embeddings obtained in this way, with word embeddings obtained from curated corpora and a language-dependent processing. We analyse the noise in the publicly available corpora, collect high quality and noisy data for the two languages and quantify the improvements that depend not only on the amount of data but on the quality too. We also use different architectures that learn word representations both from surface forms and characters to further exploit all the available information which showed to be important for these languages. For the evaluation, we manually translate the wordsim-353 word pairs dataset from English into Yorùbá and Twi. As output of the work, we provide corpora, embeddings and the test suits for both languages.

연구 동기 및 목표

• 저자원 아프리카어(예: 요르바, 투위)에 대해, 위키피디아 및 커몬 크롤 등에서 자동으로 수집된 대규모 단어 임베딩과 정제된 고품질 코퍼스의 성능을 평가하는 것.
• 데이터 품질, 양, 언어 특화 특성(예: 음절 표기, 철자 방식의 다양성)이 저자원 환경에서 단어 임베딩 품질에 미치는 영향을 조사하는 것.
• 요르바와 투위를 위한 정제된 코퍼스, 단어 임베딩, 평가 벤치마크(수작업 번역된 Wordsim-353 및 이름 있는 실체가 표시된 Global Voices 코퍼스 포함)를 개발하고 배포하는 것.
• 다국어 BERT와 같은 컨텍스트 기반 임베딩이 단일 언어 요르바 데이터로 미세조정되었을 때, 이름 있는 실체 인식과 같은 저자원 NLP 작업에서의 효과성을 평가하는 것.
• 저자원 환경에서 단어 임베딩 품질 향상에 있어 단순한 데이터 양보다 언어 특화 데이터 정제 및 모델 아키텍처 선택이 훨씬 중요함을 입증하는 것.

제안 방법

• 위키피디아, 커몬 크롤, JW300 코퍼스 등에서 요르바와 투위의 고품질, 저노이즈 코퍼스를 수집하고 정제하였으며, 현지어 사용자 검증을 거쳤다.
• fastText와 문자 수준 모델(CWE-LP)을 사용해 단어 임베딩을 훈련하고, 표면 형태와 문자 수준 표현에서의 성능을 비교했다.
• Wordsim-353 단어 유사도 데이터셋을 요르바와 투위로 수작업 번역하여 금표준 평가 기준을 마련했다.
• 요르바의 Global Voices 코퍼스에 이름 있는 실체를 주석 처리하여, 시퀀스 태깅 작업에서 컨텍스트 기반 임베딩의 평가를 가능하게 하였다.
• 다국어 및 요르바 전용 어휘를 사용하여, 디아크리틱스를 무시함으로써 일관성을 확보한 상태에서 단일 언어 요르바 데이터로 다국어 BERT를 미세조정했다.
• Wordsim-353 데이터셋에서 피어슨 상관계수를, NER 작업에서 F1 점수를 평가하여, 정제된 임베딩 대비 대규모 임베딩 및 다양한 모델 구성 간 성능을 비교했다.

실험 결과

연구 질문

• RQ1 위키피디아 및 커몬 크롤 등에서 자동으로 수집된 대규모 코퍼스로 훈련된 단어 임베딩이, 저자원 언어인 요르바와 투위에 대해 정제된 고품질 코퍼스로 훈련된 임베딩과 어떻게 비교되는가?
• RQ2 저자원 환경에서 단어 임베딩 성능에 영향을 미치는 데 있어, 단순한 데이터 양보다 데이터 품질이 얼마나 더 중요한가?
• RQ3 언어 특화 특성(예: 디아크리틱스, 철자 방식의 다양성)이 모델 아키텍처 선택 및 전처리 전략에 어떤 영향을 미치는가?
• RQ4 단일 언어 요르바 데이터로 미세조정된 다국어 BERT가, 저자원 언어의 이름 있는 실체 인식과 같은 후행 NLP 작업에서 성능 향상에 기여하는가?
• RQ5 일반적인 사전 훈련된 임베딩 대비 정제된 코퍼스와 언어 특화 모델링이 단어 유사도 상관계수 및 NER 성능 향상에 얼마나 기여하는가?

주요 결과

• 대규모 위키피디아 및 커몬 크롤 코퍼스에서 훈련된 fastText 임베딩의 요르바와 투위에 대한 단어 유사도 상관계수는 각각 0.14로, 의미 품질이 열악함을 시사한다.
• 정제 후, 요르바에서는 39%, 투위에서는 44%의 상관계수를 기록하여 대규모 임베딩 대비 170% 향상된 성과를 달성했다.
• 투위의 경우, 742,000개의 정제된 토큰으로 훈련한 결과가 1,600만 개의 노이즈가 많은 토큰으로 훈련한 것보다 우수하여, 데이터 품질의 핵심적 역할을 확인했다.
• n-그램 모델 대비 문자 수준 모델(CWE-LP)을 사용함으로써 투위 임베딩 성능이 향상되었으며, 특히 고품질 데이터와 결합할 경우 더욱 두드러졌다.
• 단일 언어 요르바 데이터로 다국어 BERT를 미세조정함으로써 F1 점수가 기초 모델의 27%에서 56% 이상으로 상승했으며, 요르바 전용 어휘를 사용할 경우 추가로 4% 향상되었다.
• 위키피디아가 고품질 코퍼스로 평가되지만, 실제로는 상당한 노이즈(비모국어 텍스트, 코드 믹싱, 디아크리틱스 누락 등)를 포함하여, 정제 없이 사용하기에는 저자원 언어에 부적합함을 확인했다.