[논문 리뷰] SimRelUz: Similarity and Relatedness scores as a Semantic Evaluation dataset for Uzbek language

Ulugbek Salaev, Elmurod Kuriyozov외 1명|arXiv (Cornell University)|2022. 05. 12.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 11명의 모국어 사용자가 어휘 유사도와 관련성에 대해 평가한 1,418개의 어휘 쌍을 포함한, 저자원 저서어인 우즈베크어를 위한 첫 번째 공개 가능한 의미 평가 데이터셋인 SimRelUz를 소개한다. 이 데이터셋은 다양한 어휘 유형, 형태, 빈도(희귀어 및 OOV 포함)와 의미 관계를 포함하며, 어휘 유사도에 대해 0.71, 관련성에 대해 0.69의 상호 평가자 간 일치도를 기록하여 자연어 처리 모델 평가에 있어 높은 신뢰성을 입증한다.

ABSTRACT

Semantic relatedness between words is one of the core concepts in natural language processing, thus making semantic evaluation an important task. In this paper, we present a semantic model evaluation dataset: SimRelUz - a collection of similarity and relatedness scores of word pairs for the low-resource Uzbek language. The dataset consists of more than a thousand pairs of words carefully selected based on their morphological features, occurrence frequency, semantic relation, as well as annotated by eleven native Uzbek speakers from different age groups and gender. We also paid attention to the problem of dealing with rare words and out-of-vocabulary words to thoroughly evaluate the robustness of semantic models.

연구 동기 및 목표

• 저자원 언어, 특히 3,000만 명 이상의 사용자가 있는 형태학적으로 풍부한 투르크어계 언어인 우즈베크어를 위한 의미 평가 데이터셋의 부족을 해소하기 위해.
• 희귀어 및 OOV(등장하지 않은 단어)를 포함한 우즈베크어 어휘 쌍의 의미 유사도 및 관련성 점수에 대한 신뢰할 수 있고 공개 가능한 데이터셋을 구축하기 위해.
• 다중 사용자 및 확장 가능한 의미 평가를 위한 오픈소스 웹 기반 애너테이션 툴을 개발하고 배포하기 위해.
• 의미 모델의 내재적 및 외재적 평가 및 향후 우즈베크어 워드넷 유사 지식 기반 구축을 지원하기 위해.
• 다양한 형태학적 및 빈도 기반 어휘 쌍을 포함시켜 의미 모델 평가의 강건성을 확보하기 위해.

제안 방법

• 11명의 모국어 우즈베크어 사용자가 0에서 10까지의 척도로 1,418개의 어휘 쌍에 대해 의미 유사도와 관련성을 평가할 수 있도록 웹 기반 설문 응용 프로그램을 개발하였다.
• 어휘 쌍은 형태적 특성, 어휘 빈도(고빈도, 중빈도, 저빈도, 희귀어, OOV) 및 사전에 정의된 의미 관계(예: 동의어, 반대어, 하위개념 관계 등)를 바탕으로 신중히 선별하였다.
• 다양한 연령대와 성별의 모국어 사용자를 포함시켜 광범위한 언어적 커버리지 확보 및 편향 감소를 위해 애너테이터를 선발하였다.
• 최종 점수는 각 어휘 쌍에 대해 11명의 애너테이터 점수 평균을 계산하여 산정하였으며, 상호 평가자 간 일치도(APIA)를 계산하여 신뢰성 검증을 수행하였다.
• 의미적 군집화 및 점수 일관성을 평가하기 위해 데이터셋을 Sim-Rel 벡터 공간에 시각화하였다.
• 소스 코드와 데이터셋은 GitHub에 공개되어 있어 자연어 처리 커뮤니티가 재사용 및 확장할 수 있도록 하였다.

실험 결과

연구 질문

• RQ1 저자원이자 형태학적으로 풍부한 언어인 우즈베크어의 특성과 고려할 때, 어떻게 신뢰할 수 있는 의미 평가 데이터셋을 구축할 수 있는가?
• RQ2 사전에 정의된 의미 관계를 기반으로 한 우즈베크어 어휘 쌍에서 인간 애너테이션 기반의 유사도 및 관련성 점수는 어느 정도 상관관계를 가지는가?
• RQ3 애너테이터들은 OOV(등장하지 않은 단어)를 일관되게 평가할 수 있는가? 또한 희귀어나 저빈도어에 대해 어떻게 평가하는가?
• RQ4 중간 규모의 애너테이터 수로 저자원 언어 환경에서 상호 평가자 간 일치도는 어느 정도 달성될 수 있는가?
• RQ5 결과적으로 도출된 점수는 Sim-Rel 벡터 공간에서 기대되는 의미 군집화를 어느 정도 잘 반영하는가?

주요 결과

• SimRelUz 데이터셋은 명사, 형용사, 동사로 구성된 1,418개의 어휘 쌍을 포함하며, 다양한 형태학적 형태와 빈도 수준을 포함하고 있으며, 희귀어 및 OOV 단어를 포함한다.
• 의미 유사도에 대해 0.71, 관련성에 대해 0.69의 상호 평가자 간 일치도(APIA) 점수를 기록하여 높은 신뢰성을 입증하였다.
• Sim-Rel 벡터 공간에서의 시각적 분포는 어휘 쌍이 사전에 정의된 의미 관계에 따라 군집화되어 있으며, 관련 없는 쌍과 관련 있는 쌍 간에 최소한의 겹침이 있음을 확인하였다.
• 의미적으로 비슷한데 관련성이 없는 어휘 쌍이 존재하지 않아, 애너테이션의 논리적 일관성이 확인되었다.
• 애너테이터들은 OOV 단어를 일반 어휘 항목처럼 일관되게 평가하였으며, 이는 데이터셋이 모델 평가에 있어 강건함을 지닌다는 것을 뒷받침한다.
• 데이터셋과 웹 기반 애너테이션 툴은 GitHub에 공개되어 있어 향후 우즈베크어 자연어 처리 분야의 연구 및 모델 평가를 가능하게 한다.