[논문 리뷰] COS960: A Chinese Word Similarity Dataset of 960 Word Pairs

Junjie Huang, Fanchao Qi외 3명|arXiv (Cornell University)|2019. 06. 01.

Natural Language Processing Techniques참고 문헌 28인용 수 10

한 줄 요약

이 논문은 15명의 모국어 사용자가 진정한 유사성에 대해 주석을付けた 960개의 이어진 형태소를 가진 복합어 표현(MWE) 쌍으로 구성된 중국어 어휘 유사성 데이터셋인 COS960을 소개한다. HowNet와 GloVe 임베딩을 사용하여 구축된 이 데이터셋은 중국어에서 의미 유사성에 대한 단어 임베딩의 평가를 가능하게 하며, CBOW 모델이 모든 쌍에서 가장 높은 상관관계(Spearman의 ρ = 78.2)를 기록하였다.

ABSTRACT

Word similarity computation is a widely recognized task in the field of lexical semantics. Most proposed tasks test on similarity of word pairs of single morpheme, while few works focus on words of two morphemes or more morphemes. In this work, we propose COS960, a benchmark dataset with 960 pairs of Chinese wOrd Similarity, where all the words have two morphemes in three Part of Speech (POS) tags with their human annotated similarity rather than relatedness. We give a detailed description of dataset construction and annotation process, and test on a range of word embedding models. The dataset of this paper can be obtained from https://github.com/thunlp/COS960.

연구 동기 및 목표

• 진정한 유사성에 초점을 맞춘 중국어 어휘 유사성 데이터셋의 부족을 해결하기 위해.
• 특히 이형소 복합어 표현(MWE)에 초점을 맞춘 중국어에서의 단어 임베딩 평가를 위한 벤치마크를 만들기 위해.
• 고품질의 인간 주석 기반 데이터셋을 제공하여 중국어의 분포적 의미 모델 평가를 향상시키기 위해.
• 제안된 데이터셋을 사용하여 다양한 사전 학습된 단어 임베딩 모델의 중국어 의미 유사성 성능을 평가하기 위해.

제안 방법

• HowNet에서 유래한 51,034개의 이형소 어휘를 사용하여 성격(명사, 동사, 형용사) 태그로 필터링하였다.
• 각 성격 그룹 내 어휘를 쌍으로 조합하고, GloVe 임베딩의 코사인 유사도가 [0.4, 1.0] 범위에 속하는 경우에만 필터링하였다.
• 30명의 모국어 사용자를 통해 960개의 어휘 쌍(명사 480개, 동사 240개, 형용사 240개)을 주석 처리하였으며, 진정한 의미 유사성 기반으로 0~4점의 척도로 유사성 점수를 부여하였다.
• 사전 주석 시험, 토론 절차, Krippendorff’s alpha 이면자 간 일치도 검사를 통해 주석 품질을 확보하였다.
• 각 쌍에 대해 15명의 주석자 점수 평균을 최종 골드 표준 유사성 점수로 사용하였다.
• 인간 점수와의 피어슨 및 스피어만 상관관계를 사용하여 여섯 가지 단어 임베딩 모델(Skip-Gram, CBOW, GloVe, CWE, fasttext, cw2vec)을 평가하였다.

실험 결과

연구 질문

• RQ1 기존의 단어 임베딩 모델들이 중국어 복합어 표현에서 진정한 의미 유사성을 얼마나 잘 포착하는가?
• RQ2 중국어 어휘 유사성에서 다양한 성격 카테고리(명사, 동사, 형용사) 간 모델 간 성능 격차는 어떠한가?
• RQ3 두 형태소로 구성된 복합어 표현(MWE)을 사용할 경우 중국어의 분포적 의미 평가가 얼마나 향상되는가?
• RQ4 다양한 어휘 쌍과 성격 태그 간에 인간의 의미 유사성 주석이 얼마나 일관된가?
• RQ5 임베딩에 하위단어 또는 문자 수준의 정보가 포함될 경우 이 의미 유사성 벤치마크에서 성능 향상이 이루어지는가?

주요 결과

• CBOW 모델이 전체적으로 가장 높은 성능을 보였으며, 스피어만 순서 상관관계가 78.2로, Skip-Gram보다 2.1%p 높았다.
• 평가된 여섯 가지 단어 임베딩 모델 모두 인간 판단과 높은 상관관계를 보였으며, 중국어에서 진정한 의미 유사성과의 강한 일치를 나타냈다.
• 성능은 동사 쌍에서 가장 높았으며(CBOW의 경우 ρ = 84.8), 이어 형용사 쌍(ρ = 78.5), 명사 쌍(ρ = 77.0)의 순서를 보였다.
• 스피어만 순서 상관관계를 사용한 평가 프로토콜이 모든 모델에서 가장 높은 점수를 기록하였으며, 이는 특히 유사성 범주 내에서 주석 일관성이 높음을 시사한다.
• fasttext와 cw2vec와 같은 모델들이 중국어에 특별히 훈련되지 않았음에도 불구하고 경쟁력 있는 성능(Spearman의 ρ > 75)을 기록하여 이들의 이식 가능성(transferability)을 보여주었다.
• 이러한 결과는 이전 연구들(Hill 등, 2015)이 단어 임베딩가 진정한 유사성을 잘 포착하지 못한다고 주장한 바와는 정반대되며, 이 중국어 MWE 기반 데이터셋에서 높은 상관관계가 관찰되었다.