[논문 리뷰] Contextualized Word Embeddings Encode Aspects of Human-Like Word Sense Knowledge

Sathvik Nair, Mahesh Srinivasan외 1명|arXiv (Cornell University)|2020. 10. 25.

Language and cultural evolution인용 수 15

한 줄 요약

이 연구는 BERT 기반의 문맥 의존 단어 임베딩이 인간과 유사한 단어 의미 간 구분, 특히 다의어와 동음이의어를 어떻게 반영하는지 조사한다. 웹 기반의 공간 배치 작업을 통해 참가자들은 32개의 영어 단어에 대한 의미 유사도를 평가하였으며, 결과적으로 BERT 임베딩이 이러한 평가를 신뢰성 있게 반영하는 것으로 나타났다. 특히 동음이의어 의미(예: 동물인 bat와 스포츠 기구인 bat)는 다의어 의미(예: 동물인 chicken과 고기인 chicken)보다 임베딩 공간에서 유사도가 유의미하게 낮게 나타나, 신경망 표현이 인간의 의미 유사도 인식을 반영하고 있음을 시사한다.

ABSTRACT

Understanding context-dependent variation in word meanings is a key aspect of human language comprehension supported by the lexicon. Lexicographic resources (e.g., WordNet) capture only some of this context-dependent variation; for example, they often do not encode how closely senses, or discretized word meanings, are related to one another. Our work investigates whether recent advances in NLP, specifically contextualized word embeddings, capture human-like distinctions between English word senses, such as polysemy and homonymy. We collect data from a behavioral, web-based experiment, in which participants provide judgments of the relatedness of multiple WordNet senses of a word in a two-dimensional spatial arrangement task. We find that participants' judgments of the relatedness between senses are correlated with distances between senses in the BERT embedding space. Homonymous senses (e.g., bat as mammal vs. bat as sports equipment) are reliably more distant from one another in the embedding space than polysemous ones (e.g., chicken as animal vs. chicken as meat). Our findings point towards the potential utility of continuous-space representations of sense meanings.

연구 동기 및 목표

• BERT와 같은 문맥 의존 단어 임베딩이 인간의 의미 유사도 인식을 반영하는지 평가하는 것.
• BERT 표현이 다의어와 동음이의어 의미 쌍을 임베딩 유사도 기반으로 구분할 수 있는지 조사하는 것.
• 심리언어학 이론에서의 의미 표현과 WordNet과 같은 어휘 자료집 간의 격차를 메우기 위한 노력으로, 의미 관계를 포함하지 않는 자료집을 보완하는 것.
• 연속 공간 임베딩이 상징적 온톨로지에 의미 유사도 측정 기준을 보완할 잠재력을 평가하는 것.

제안 방법

• 32개의 영어 단어에 대한 의미 유사도 평가를 수집하기 위해 참가자들이 참여하는 웹 기반의 2차원 공간 배열 작업을 수행하였다.
• Semcor 코퍼스에서 단어 토큰의 BERT 문맥 의존 임베딩을 수집하였으며, 이는 WordNet 의미 식별자로 주석이 달려 있다.
• 의미 임베딩 간 코사인 유사도를 계산하여 BERT 공간 내 의미 유사도 측정 기준을 도출하였다.
• 인간의 유사도 평가와 BERT 기반의 유사도 측정 기준을 상관 분석을 통해 비교하였다.
• 다의어와 동음이의어 의미 쌍에 대해 BERT 임베딩 기반의 의미 분류기를 훈련시켜 성능을 평가하였다.
• 분류기의 오류 행렬과 오류율을 분석하여 모델이 의미 유형을 구분하는 데 있어 신뢰성 있는지 평가하였다.

실험 결과

연구 질문

• RQ1 BERT 임베딩은 인간의 의미 유사도 평가를 반영하는가?
• RQ2 BERT는 임베딩 유사도 기반으로 다의어와 동음이의어 의미 쌍을 구분할 수 있는가?
• RQ3 BERT 기반의 의미 유사도 측정 기준은 인간의 인식과 얼마나 높은 상관관계를 가지는가?
• RQ4 BERT 임베딩 기반의 의미 분류 모델 성능은 동음이의어 쌍에 비해 다의어 쌍에서 더 높은가?

주요 결과

• 인간의 의미 유사도 평가와 BERT 임베딩 공간 내 코사인 유사도 간에 유의미한 상관관계가 존재하였다.
• 동음이의어 의미 쌍은 다의어 의미 쌍보다 BERT 임베딩에서 유사도가 유의미하게 낮게 나타났으며, 이는 인간의 인식을 반영하고 있었다.
• BERT 기반 분류기는 동음이의어 의미 쌍에 대해 평균 F1 스코어 0.992를 기록하여 높은 구분 정확도를 보였다.
• 다의어 의미 쌍의 경우, 분류기는 평균 F1 스코어 0.752를 기록하여 낮지만 여전히 의미 있는 구분 능력을 보였다.
• 분류기의 쌍별 혼동 행렬은 인간의 유사도 평가 예측에 있어 원시적인 임베딩 거리보다 略적으로 더 높은 성능을 보였다.
• 오류 분석 결과, BERT 임베딩는 다의어 쌍보다 동음이의어 쌍을 더 신뢰성 있게 구분하는 것으로 나타나, 미세한 다의어 관계를 포괄하는 데에는 한계가 있음을 시사한다.