[논문 리뷰] Co-occurrences using Fasttext embeddings for word similarity tasks in Urdu

Usama Khalid, Aizaz Hussain외 3명|arXiv (Cornell University)|2021. 02. 22.

Topic Modeling참고 문헌 25인용 수 7

한 줄 요약

이 논문은 저자원 언어인 우르두어 NLP에서 단어 유사도 작업을 향상시키기 위해 대규모이고 철저히 정제된 우르두어 코퍼스(COUNTER)를 기반으로 한 FastText 및 n-gram 단어 임베딩을 제안한다. FastText는 SimLex-999에서 기존의 스킵그램 임베딩보다 우수한 성능을 보이며(Spearman r = 0.743) 단, WordSim-353에서는 성능이 열 劣하므로 영어 모델 수준에 도달하기 위해 더 크고 고도로 품질이 높은 우르두어 코퍼스가 필요하다는 점을 시사한다.

ABSTRACT

Urdu is a widely spoken language in South Asia. Though immoderate literature exists for the Urdu language still the data isn't enough to naturally process the language by NLP techniques. Very efficient language models exist for the English language, a high resource language, but Urdu and other under-resourced languages have been neglected for a long time. To create efficient language models for these languages we must have good word embedding models. For Urdu, we can only find word embeddings trained and developed using the skip-gram model. In this paper, we have built a corpus for Urdu by scraping and integrating data from various sources and compiled a vocabulary for the Urdu language. We also modify fasttext embeddings and N-Grams models to enable training them on our built corpus. We have used these trained embeddings for a word similarity task and compared the results with existing techniques.

연구 동기 및 목표

• 저자원 언어인 우르두어에 대해 고도로 품질이 높고 공개 가능한 단어 임베딩의 부족을 해결하기 위해.
• 다양한 뉴스 출처에서 데이터를 통합하여 강력한 단어 임베딩 학습을 지원할 수 있는 대규모 통합 우르두어 코퍼스를 구축하기 위해.
• 우르두어의 형태적 복잡성을 처리할 수 있도록 전처리 및 하이퍼파라미터를 수정하여 FastText 및 n-gram 모델을 우르두어에 적응시키기 위해.
• 학습된 임베딩의 성능을 표준 단어 유사도 벤치마크(SimLex-999 및 WordSim-353)에서 평가하고 기존의 스킵그램 모델과 비교하기 위해.
• 학습된 임베딩, 코드, 데이터셋을 공개하여 우르두어 자연어 처리 분야의 연구를 가속화하기 위해.

제안 방법

• 1200개의 뉴스 문서에서 수집한 다수의 파키스탄 뉴스 기관 자료를 웹 스크래핑 및 통합하여 대규모 우르두어 코퍼스(COUNTER)를 구축하였다.
• 문장 분할, 토크나이징, 정지어 제거를 통해 코퍼스를 전처리하였으며, 커스터마이징된 FastText 도구와 내장된 도구를 활용하였다.
• 기본 하이퍼파라미터를 사용하여 FastText 임베딩을 학습: 벡터 차원 = 100, 에포크 수 = 5, 초기 학습률 = 0.05, 서브워드 n-그램 길이 = 3–6.
• 단어 공동 발생 패턴에 중점을 두어 유일한 하이퍼파라미터인 연속된 단어 수(n-그램)만을 사용하여 n-그램 모델을 학습하였다.
• 우르두어로 번역된 SimLex-999 및 WordSim-353 데이터셋에서 예측된 유사도 점수와 인간 평가 유사도 점수 간 피어슨 순위 상관계수를 사용하여 모델 성능을 평가하였다.
• 평가를 위해 iJunior의 번역 서비스를 사용하여 영어 SimLex-999 및 WordSim-353 데이터셋을 우르두어로 번역하였다.

실험 결과

연구 질문

• RQ1 대규모이고 정제된 우르두어 코퍼스를 기반으로 학습된 FastText 임베딩가 기존의 스킵그램 모델보다 우르두어 단어 유사도 작업에서 뛰어난 성능을 보일 수 있는가?
• RQ2 우르두어 단어 유사도 맥락에서 n-그램 기반의 단어 공동 발생 모델은 분산 임베딩과 비교하여 어떻게 성능을 내는가?
• RQ3 제안된 우르두어 단어 임베딩가 표준 유사도 벤치마크에서 사전 학습된 영어 FastText 임베딩의 성능에 얼마나 가까이 도달하는가?
• RQ4 코퍼스의 크기와 품질이 저자원 언어인 우르두어의 단어 임베딩 효과성에 어떤 영향을 미치는가?

주요 결과

• FastText 임베딩는 우르두어로 번역된 SimLex-999 데이터셋에서 피어슨 순위 상관계수 0.743을 기록하여 스킵그램 기준선(r = 0.293)을 초월하였다.
• n-그램 모델은 SimLex-999에서 낮은 상관계수 0.156, WordSim-353에서는 0.188을 기록하여 우르두어의 단어 유사도 작업에 있어 제한적인 효과를 보였다.
• FastText 임베딩는 WordSim-353에서 스킵그램 모델보다 약간 열 劣하나(r = 0.462 vs. 0.492)로, 작업에 따라 성능 차이가 있음을 시사하였다.
• FastText 임베딩는 여전히 영어 FastText 성능(r = 0.84)에 크게 뒤져 있어 향후 개선 여지가 크다는 점을 시사하였다.
• 이 연구는 적절한 전처리 및 코퍼스 정제를 통해 FastText가 우르두어에 효과적으로 적용될 수 있음을 입증하였으며, SimLex-999에서 최고 수준의 성능을 달성하였다.
• 저자들은 학습된 임베딩, 코드, 데이터셋을 GitHub에 공개하여 재현 가능성과 향후 우르두어 NLP 연구를 지원하였다.