[논문 리뷰] WiC: the Word-in-Context Dataset for Evaluating Context-Sensitive Meaning Representations

Mohammad Taher Pilehvar, José Camacho-Collados|arXiv (Cornell University)|2018. 08. 28.

Topic Modeling참고 문헌 26인용 수 92

한 줄 요약

WiC는 맥락에 민감한 단어 의미에 대한 대형, 전문가-주석 이진 분류 벤치마크를 도입하여 맥락화 및 의미 기반 표현의 평가를 가능하게 하며, 최첨단 모델과 인간 성능 간의 차이를 강조합니다.

ABSTRACT

By design, word embeddings are unable to model the dynamic nature of words' semantics, i.e., the property of words to correspond to potentially different meanings. To address this limitation, dozens of specialized meaning representation techniques such as sense or contextualized embeddings have been proposed. However, despite the popularity of research on this topic, very few evaluation benchmarks exist that specifically focus on the dynamic semantics of words. In this paper we show that existing models have surpassed the performance ceiling of the standard evaluation dataset for the purpose, i.e., Stanford Contextual Word Similarity, and highlight its shortcomings. To address the lack of a suitable benchmark, we put forward a large-scale Word in Context dataset, called WiC, based on annotations curated by experts, for generic evaluation of context-sensitive representations. WiC is released in https://pilehvar.github.io/wic/.

연구 동기 및 목표

• 정적 임베딩을 넘어서는 동적 단어 의미 체계에 초점을 맞춘 벤치마크의 필요성을 제시한다.
• 맥락의 민감한 표현의 일반적 평가를 위한 고품질, 대규모 데이터셋(WiC)을 만든다.
• 다양한 대상 단어와 맥락으로 균형 잡힌 학습/검증/테스트 분할을 제공한다.
• WiC 벤치마크에서 다양한 맥락화 모델 및 다중 프로토타입 임베딩 모델을 평가한다.
• 모델의 강점/제약 및 인간의 상한 성능에 대한 통찰을 제시한다.

제안 방법

• WordNet, Wiktionary, VerbNet에서 대상 단어의 맥락쌍을 추출하고 BabelNet으로 매핑하여 교차자원 커버리지를 확보한다.
• 미세한 구분을 줄이고 의미의 명확성을 높이기 위해 WordNet 어감을 가지치기한다.
• 반자동 후처리 및 품질 점검을 수행하고 샘플에 대한 인간 주석을 포함하여 인간 성능 상한치를 추정한다.
• 간단한 베이스라인(BoW, Sentence LSTM)을 사용하여 이진 분류(같은 의미 여부)로 Contextualized 모델(Context2vec, ELMo, BERT 변형) 및 다중-프로토타입 모델(DeConf, SW2V, JBT)을 평가한다.
• 정확도를 다중 실행으로 보고 인간 상한치(~80%)와의 직접 비교를 제공한다.
• 최종 분류에 대해 간단한 임계값 또는 MLP를 사용하되 임계값 기반 접근이 일반적으로 더 효율적임을 주목한다.

실험 결과

연구 질문

• RQ1 맥락에 민감한 단어 표현이 서로 다른 맥락에서 같은 대상 단어의 두 번 등장해도 같은 의미를 구분할 수 있는가?
• RQ2 현대의 맥락화된 및 다중 프로토타입 임베딩이 동적 의미를 다루도록 설계된 고품질, 언어 독립 벤치마크에서 어떤 성능을 보이는가?
• RQ3 WiC에서 모델 성능과 인간 수준의 이해 사이의 차이는 무엇이며, 이는 향후 연구에 어떤 시사점을 제공하는가?
• RQ4 가지치기 및 데이터세트 구성 선택(예: 초의미소속화)이 맥락-민감한 표현의 의미 명확성과 평가 가능성을 개선하는가?
• RQ5 WiC에 가장 효과적인 모델 계열은 무엇이며, 의미 표현의 맥락에 대한 현재 접근 방식에 대해 그들의 결과는 무엇을 보여주는가?

주요 결과

• WiC는 모든 모델에게 도전적이다; 최적 모델(BERT large)은 무작위 베이스라인보다 약 15.5포인트 높은 성능을 달성한다.
• Contextualized 모델인 BERT가 평가된 방법 중 가장 강한 성능을 보이나 인간 상한치(~80%)에 여전히 크게 뒤처진다.
• Context2vec 및 ELMo는 많은 경우 간단한 BoW 대비 제한적인 이득을 제공하여 미세한 의미 차이를 포착하는 데 어려움을 강조한다.
• DeConf(다중 프로토타입) 및 SW2V는 의미 수준 정보로부터 이익을 얻으며, 평가된 것들 중 DeConf가 최상으로 보이나 여전히 인간 동등성에는 미치지 못한다.
• 일부 모델에서 표본의 대상 단어가 커버되지 않는 테스트 쌍이 다수 있어 실제 세계의 어휘 외 벤치페이스 문제를 보여준다.
• 가지치기 전략은 데이터의 명확성을 크게 향상시키며 가지치기된 부분집합에서 주석자 간 일치도와 인간 정확도가 향상된다.