[논문 리뷰] SuperSim: a test set for word similarity and relatedness in Swedish

Simon Hengchen, Nina Tahmasebi|arXiv (Cornell University)|2021. 04. 12.

Topic Modeling참고 문헌 26인용 수 5

한 줄 요약

SuperSim는 스웨덴어의 어휘 유사성과 관련성에 대한 대규모 전문가 주석이 내장된 테스트 세트로, 5명의 주석자가 각각 유사성과 관련성에 대해 0~10 척도로 평가한 1,360개의 어휘 쌍을 포함한다. 이는 스웨덴어 단어 임베딩 평가를 위한 기준이 되며, 관련성은 일반적으로 유사성보다 더 쉽게 모델링할 수 있으며, 스웨덴 기간지와 같은 더 큰 코퍼스에서의 훈련이 Word2Vec, fastText, GloVe 등 다양한 모델의 성능을 향상시킨다는 결과를 보여준다.

ABSTRACT

Language models are notoriously difficult to evaluate. We release SuperSim, a large-scale similarity and relatedness test set for Swedish built with expert human judgments. The test set is composed of 1,360 word-pairs independently judged for both relatedness and similarity by five annotators. We evaluate three different models (Word2Vec, fastText, and GloVe) trained on two separate Swedish datasets, namely the Swedish Gigaword corpus and a Swedish Wikipedia dump, to provide a baseline for future comparison. We release the fully annotated test set, code, baseline models, and data.

연구 동기 및 목표

• 스웨덴어에서 유사성과 관련성에 대한 고품질 전문가 주석이 내장된 테스트 세트의 부족을 해결하기 위해.
• SimLex-999 및 WordSim353과 같은 국제적 데이터셋에 비교할 수 있는 표준화된 기준을 제공하여 스웨덴어 단어 임베딩 모델을 평가하기 위해.
• 연구자들이 스웨덴어 어휘 의미론에서 의미적 유사성과 관련성의 차이를 구분할 수 있도록 하기 위해.
• 두 가지 다른 스웨덴어 코퍼스(스웨덴 기간지 및 스웨덴 위키백과 덤프)에서 사전 훈련된 모델들(Word2Vec, fastText, GloVe)을 사용하여 모델 성능의 기준을 설정하기 위해.
• 미래의 어휘 의미론, 단어 임베딩 및 언어 모델 평가 연구를 지원하기 위해.

제안 방법

• 테스트 세트는 영어의 SimLex-999 및 WordSim353 데이터셋에서 유도된 1,360개의 어휘 쌍을 스웨덴어로 번역하여 구성된다.
• 5명의 전문 주석자가 각 어휘 쌍에 대해 유사성과 관련성에 대해 0~10 척도로 독립적으로 평가하여 고품질의 인간 검증된 판단을 확보한다.
• 데이터셋은 주석, 코드, 기준 모델, 훈련 데이터를 포함하여 전체적으로 공개되며, 모델들은 스웨덴 기간지 코퍼스와 스웨덴 위키백과 덤프에서 훈련된다.
• 주석자 간 일致도를 측정하여 일관성을 검증하였으며, 결과적으로 유사성보다 관련성에서 더 높은 일致도를 보였다.
• 기준 평가로는 두 코퍼스에서 훈련된 Word2Vec, fastText, GloVe 모델을 미세조정하고, 테스트 세트에서 스피어만 순서상관계수를 통해 성능을 평가하였다.
• 모델 성능을 유사성과 관련성 작업 간에 비교하여, 훈련 데이터 크기와 모델 아키텍처에 따른 모델 행동의 차이를 강조하였다.

실험 결과

연구 질문

• RQ1 다양한 단어 임베딩 모델은 스웨덴어의 유사성과 관련성에 대한 새로운 전문가 주석 기반 테스트 세트에서 어떻게 성능을 내는가?
• RQ2 더 크고 다양한 코퍼스(예: 스웨덴 기간지)에서 훈련하는 것이, 더 작은 도메인 특화 코퍼스(예: 위키백과)에서 훈련하는 것보다 유사성과 관련성 작업에서 더 나은 성능을 내는가?
• RQ3 스웨덴어에서 유사성과 관련성은 서로 다른 의미 차원인가? 그리고 모델들은 이 두 가지를 효과적으로 포착할 수 있는가?
• RQ4 스웨덴어에서 유사성 평가와 관련성 평가 간 주석자 간 일치도는 어떻게 비교되는가?
• RQ5 기존 모델들이 매우 관련성이 높지만 유사성이 떨어지는 어휘 쌍, 또는 반대의 경우를 얼마나 잘 포착하는가?

주요 결과

• SuperSim 테스트 세트는 5명의 전문가가 유사성과 관련성에 대해 주석한 1,360개의 어휘 쌍을 포함하며, 주석자 간 일치도는 국제 기준과 유사하다.
• 관련성은 일반적으로 유사성보다 더 쉽게 판단되며, 관련성에 대한 주석자 간 일치도(kappa ~0.68)가 유사성에 대한 일치도(kappa ~0.58)보다 높다.
• 모든 모델이 더 큰 스웨덴 기간지 코퍼스에서보다 작은 위키백과 덤프에서 성능이 떨어지며, fastText는 기간지 코퍼스에서 유사성(0.528)과 관련성(0.550) 모두에서 가장 높은 성능을 기록했다.
• GloVe는 위키백과 코퍼스에서 Word2Vec과 fastText보다 성능이 뛰어나 관련성(0.349)과 유사성(0.365) 모두에서 가장 높은 상관계수를 기록했다.
• 결과적으로 관련성은 일반적으로 유사성보다 더 쉬운 작업임을 확인하였으며, 모든 모델이 두 코퍼스 모두에서 관련성 작업에서 더 높은 성능을 보였다.
• 유사성 점수가 관련성 점수보다 높은 어휘 쌍은 단 4개뿐이며, 그 차이는 0.6 이하이므로, 높은 관련성과 낮은 유사성은 흔한 반면, 반대의 경우는 드문 것으로 나타났다.