[논문 리뷰] CoSimLex: A Resource for Evaluating Graded Word Similarity in Context

Carlos S. Armendariz, Matthew Purver외 6명|arXiv (Cornell University)|2019. 12. 11.

Topic Modeling참고 문헌 10인용 수 15

한 줄 요약

CoSimLex는 맥락에 따라 변화하는 어휘 유사도를 평가하기 위한 多어휘, 맥락 인지형 데이터셋을 소개한다. SimLex-999을 확장하여 각 어휘 쌍에 대해 두 개의 공통 맥락을 제공함으로써 맥락이 의미 유사도에 미치는 영향을 평가한다. 이는 의미의 미세한 연속적 변화를 포착함으로써 맥락적 단어 임베딩의 내재적 평가를 가능하게 하며, 영어, 크로아티아어, 핀란드어, 슬로베니아어에 적용 가능하다. 이는 SemEval 2020 Task 3을 지원한다.

ABSTRACT

State of the art natural language processing tools are built on context-dependent word embeddings, but no direct method for evaluating these representations currently exists. Standard tasks and datasets for intrinsic evaluation of embeddings are based on judgements of similarity, but ignore context; standard tasks for word sense disambiguation take account of context but do not provide continuous measures of meaning similarity. This paper describes an effort to build a new dataset, CoSimLex, intended to fill this gap. Building on the standard pairwise similarity task of SimLex-999, it provides context-dependent similarity measures; covers not only discrete differences in word sense but more subtle, graded changes in meaning; and covers not only a well-resourced language (English) but a number of less-resourced languages. We define the task and evaluation metrics, outline the dataset collection methodology, and describe the status of the dataset so far.

연구 동기 및 목표

• 맥락 의존적 단어 임베딩의 내재적 평가 자원이 부족한 문제를 해결하기 위해, 점진적인 의미 변화를 포착하는 자원이 필요하다.
• 이산적인 의미 해석(의미의 이산적 감지)과 전통적인 유사도 작업(맥락 없음) 사이의 격차를 메우기 위해, 연속적이고 맥락에 의해 조절되는 의미 변화를 모델링한다.
• 내재적 평가를 가능하게 하기 위해 고자원 및 저자원 유럽어를 포함하는 다국어 데이터셋을 개발하여 다국어 간 임베딩 평가를 지원한다.
• SemEval 2020 Task 3: 맥락 내 점진적 어휘 유사도를 위한 황금 표준 기준을 제공한다.
• BERT 및 ELMo와 같은 최신 모델이 맥락에서 인간과 유사한 의미 변화 인식 능력을 얼마나 잘 반영하는지 평가할 수 있도록 한다.

제안 방법

• SimLex-999의 쌍별 유사도 프레임워크를 확장하여 각 어휘 쌍에 대해 두 개의 서로 다른 공통 맥락을 추가함으로써 맥락 의존적 유사도를 평가한다.
• 각 맥락 내 어휘 쌍에 대한 인간의 유사도 판단을 연속적이고 점진적인 척도로 수집하여 미세한 의미 변화를 반영한다.
• 다중 평가자(annotation) 파이프라인을 적용하고 평가자 간 일致성 검사를 통해 신뢰성과 일관성을 확보한다.
• 영어, 크로아티아어, 핀란드어, 슬로베니아어를 포함한 여러 언어를 지원하며, 언어적 및 문화적 차이에 맞게 적응된 평행 평가 절차를 제공한다.
• Spearman의 rho와 평균 제곱 오차(MSE)와 같은 평가 지표를 정의하여 모델 예측값과 인간 판단값을 비교한다.
• 맥락 유도 의미 변화를 얼마나 잘 포착하는지에 중점을 두고 맥락적 단어 임베딩의 내재적 평가를 위한 벤치마크로 데이터셋을 활용한다.

실험 결과

연구 질문

• RQ1 맥락에 의해 영향을 받는 의미의 연속적이고 점진적인 변화를 맥락적 단어 임베딩이 얼마나 잘 모델링할 수 있는가?
• RQ2 다양한 언어들이 맥락 의존적 유사도 패턴에서 유사한 경향을 보이며, 이는 다국어 평가에 어떤 영향을 미치는가?
• RQ3 공통 맥락 프레임워크가 이산적 의미 선택에서부터 미세한 의미 변화에 이르기까지 의미 조절의 전반적인 스펙트럼을 효과적으로 포착할 수 있는가?
• RQ4 BERT 및 ELMo와 같은 최신 모델이 기존 정적 임베딩에 비해 이 새로운 벤치마크에서 얼마나 잘 성과를 내는가?
• RQ5 다양한 언어적 및 문화적 배경을 가진 환경에서 맥락 내 점진적 유사도 판단의 신뢰성과 일관성은 어느 정도인가?

주요 결과

• CoSimLex는 각 어휘 쌍에 대해 두 개의 서로 다른 맥락에서 인간이 평가한 점진적 유사도 점수를 포함하는 다국어 데이터셋을 제공하며, 맥락적 임베딩의 미세한 평가를 가능하게 한다.
• 이 데이터셋은 영어, 크로아티아어, 핀란드어, 슬로베니아어 4개 언어를 포함하여 고자원 및 저자원 언어 환경 모두에서의 평가를 지원한다.
• 유사도 판단에 대한 평가자 간 일치도는 중간에서 높은 수준을 보이며, 맥락에 의해 조절되는 유사도에 대한 인간의 인식이 신뢰할 수 있음을 시사한다.
• 이 데이터셋은 맥락에 기인한 의미 변화를 얼마나 잘 포착하는지 측정함으로써 맥락적 모델의 내재적 평가를 가능하게 한다.
• CoSimLex는 SemEval 2020 Task 3: 맥락 내 점진적 어휘 유사도의 공식 벤치마크로 채택되어 황금 표준 자원으로 자리매김하였다.
• 결과적으로 맥락 의존적 모델인 BERT가 정적 임베딩보다 이 작업에서 뛰어난 성능을 보이며, 특히 미세한 의미 변화를 잘 포착하는 것으로 나타났다.