[논문 리뷰] "A Passage to India": Pre-trained Word Embeddings for Indian Languages

Saurav Kumar, Saunack Kumar외 2명|arXiv (Cornell University)|2021. 12. 27.

Topic Modeling참고 문헌 25인용 수 24

한 줄 요약

이 논문은 인도의 14개 언어를 위한 436개의 사전 훈련된 단어 임베딩 레포지터리를 소개한다. 이는 단일 언어(_FASTText, Word2Vec, GloVe_), 문맥 기반(_ELMo, BERT, XLM_), 그리고 다국어( _MUSE, XLM_) 모델을 포함한다. 인도 언어의 고품질, 대규모 단일 언어 및 다국어 코퍼스 부족 문제를 해결하기 위해 다양한 확장된 코퍼스를 수집하고 훈련시었으며, 평가 결과 FastText는 POS 및 NER 작업에서 다른 비문맥 기반 모델보다 뛰어난 성능을 보였다.

ABSTRACT

Dense word vectors or 'word embeddings' which encode semantic properties of words, have now become integral to NLP tasks like Machine Translation (MT), Question Answering (QA), Word Sense Disambiguation (WSD), and Information Retrieval (IR). In this paper, we use various existing approaches to create multiple word embeddings for 14 Indian languages. We place these embeddings for all these languages, viz., Assamese, Bengali, Gujarati, Hindi, Kannada, Konkani, Malayalam, Marathi, Nepali, Odiya, Punjabi, Sanskrit, Tamil, and Telugu in a single repository. Relatively newer approaches that emphasize catering to context (BERT, ELMo, etc.) have shown significant improvements, but require a large amount of resources to generate usable models. We release pre-trained embeddings generated using both contextual and non-contextual approaches. We also use MUSE and XLM to train cross-lingual embeddings for all pairs of the aforementioned languages. To show the efficacy of our embeddings, we evaluate our embedding models on XPOS, UPOS and NER tasks for all these languages. We release a total of 436 models using 8 different approaches. We hope they are useful for the resource-constrained Indian language NLP. The title of this paper refers to the famous novel 'A Passage to India' by E.M. Forster, published initially in 1924.

연구 동기 및 목표

• 인도 언어의 고품질, 대규모 단일 언어 및 다국어 코퍼스 부족 문제로 인해 효과적인 NLP 모델 훈련이 어렵다는 점을 해결하기 위해.
• 14개의 정식 인도 언어를 위한 통합된 공개 접근 가능한 사전 훈련된 단어 임베딩 레포지터리를 구축하여 저자원 NLP 연구를 지원하기 위해.
• 비문맥 기반, 문맥 기반, 다국어 기반 기법의 성능을 표준 NLP 작업(예: POS 태깅, XPOS, UPOS, NER)에서 평가하기 위해.
• 표준 위키백과 덤프를 초월한 확장되고 정제된 코퍼스를 기반으로 훈련된 모델을 공개함으로써 인도어 NLP의 최신 기술 수준을 향상시키기 위해.
• 이식 학습, 미세 조정, 다국어 간 전이 학습을 위한 기반을 제공함으로써 향후 연구를 가능하게 하기 위해.

제안 방법

• 14개의 인도 언어를 위한 단일 언어 코퍼스를 수집하고 정제하여, 위키미디어 덤프 및 추가 자료를 활용해 데이터 부족 문제를 해결하기 위해.
• 차원이 50, 100, 200, 300인 FastText, Word2Vec(Skip-gram 및 CBOW), GloVe를 사용해 총 384개의 비문맥 기반 임베딩을 훈련시켰다.
• 14개의 ELMo, 14개의 BERT 모델, 그리고 모든 14개 언어의 병합된 다국어 코퍼스를 기반으로 훈련된 1개의 다국어 XLM 모델을 통해 14개의 문맥 기반 임베딩을 생성했다.
• MUSE와 XLM를 사용해 모든 언어 쌍을 공통의 벡터 공간에 매핑함으로써 총 182개의 다국어 임베딩을 생성했다.
• Transformer 기반 모델을 위해 Byte-Pair Encoding(BPE)를 사용해 데이터 전처리를 수행했으며, 원본 구현에서 사용된 표준 초모수를 적용했다.
• 표준화된 데이터셋을 사용해 XPOS, UPOS 및 NER 작업에서 모델을 평가했으며, 성능은 F1 점수와 퍼플렉서티로 측정했다.

실험 결과

연구 질문

• RQ1 인도 언어에서 POS 및 NER 작업에서 비문맥 기반 단어 임베딩(FastText, Word2Vec, GloVe)의 성능는 어떻게 비교되는가?
• RQ2 문맥 기반 임베딩(ELMo, BERT, XLM)은 비문맥 기반 모델에 비해 인도 언어의 하류 NLP 작업에서 얼마나 향상된 성능을 보이는가?
• RQ3 다국어 임베딩(MUSE, XLM)은 언어적 특성과 코퍼스 크기가 상이한 인도 언어 간 전이 학습을 얼마나 효과적으로 지원하는가?
• RQ4 코퍼스 크기와 언어 다양성이 저자원 인도 언어의 사전 훈련된 임베딩 품질에 어떤 영향을 미치는가?
• RQ5 비록 유사한 코퍼스 크기를 가졌음에도 불구하고, 타밀어와 텔루구어가 평가에서 성능이 다름을 보이는 이유는 무엇이며, 이는 언어 특화 요소에 대해 무엇을 시사하는가?

주요 결과

• FastText는 XPOS 및 UPOS 태깅 작업에서 GloVe와 Word2Vec를 모두 앞서는 성능을 보였으며, 이는 형태학적으로 풍부한 인도 언어에서의 자소 정보가 매우 중요하다는 것을 시사한다.
• 비록 유사한 코퍼스 크기를 가졌음에도 불구하고, 텔루구어 임베딩는 모든 평가 작업에서 타밀어 임베딩보다 일관되게 뛰어난 성능을 보였으며, 이는 크기 외에 언어적 구조나 데이터 품질의 차이가 존재함을 시사한다.
• 다국어 XLM 모델은 마스크된 언어 모델 정확도 31.8%와 다음 문장 예측 정확도 67.9%를 기록하여, 인도 언어에서의 다국어 사전 훈련 가능성을 입증했다.
• ELMo 모델은 비문맥 기반 모델보다 낮은 퍼플렉서티 점수를 기록했으며, 이는 문맥을 더 잘 모델링할 수 있음을 확인했지만, 언어 간 성능은 다양했다.
• 레포지터리는 비문맥 기반 384개, ELMo 14개, BERT 14개, XLM 1개, 다국어 임베딩 182개를 포함해 총 436개의 고유한 모델을 포함하며, 연구 목적을 위해 공개되었다.
• 평가 결과는 코퍼스 크기만으로 모델 품질이 결정되지 않음을 보여주었으며, 이는 타밀어와 텔루구어의 유사한 데이터 볼륨에도 불구하고 성능 격차가 존재하는 것으로 확인되었다.