[논문 리뷰] Unsupervised Word Polysemy Quantification with Multiresolution Grids of Contextual Embeddings

Christos Xypolopoulos, Antoine J.‐P. Tixier외 1명|arXiv (Cornell University)|2020. 03. 23.

Topic Modeling참고 문헌 41인용 수 3

한 줄 요약

이 논문은 문맥적 단어 임베딩 공간에 다중해상도 격자를 적용하여 단어 다의성 수준을 측정하는 비지도, 데이터 기반 방법을 제안한다. 계층적 격자 구조를 통해 단어 벡터의 공간적 커버리지 범위를 측정함으로써, WordNet 및 위키백과와 같은 자원에서 구성된 여섯 가지 인간 기반 단어의미 랭킹과 강한 통계적 상관관계(p < 0.001)를 확보하며, 다의성 평가를 위한 확장 가능하고 언어에 관계없는 대체 지표를 제공한다.

ABSTRACT

The number of senses of a given word, or polysemy, is a very subjective notion, which varies widely across annotators and resources. We propose a novel method to estimate polysemy, based on simple geometry in the contextual embedding space. Our approach is fully unsupervised and purely data-driven. We show through rigorous experiments that our rankings are well correlated (with strong statistical significance) with 6 different rankings derived from famous human-constructed resources such as WordNet, OntoNotes, Oxford, Wikipedia etc., for 6 different standard metrics. We also visualize and analyze the correlation between the human rankings. A valuable by-product of our method is the ability to sample, at no extra cost, sentences containing different senses of a given word. Finally, the fully unsupervised nature of our method makes it applicable to any language. Code and data are publicly available at https://github.com/ksipos/polysemy-assessment . The paper was accepted as a long paper at EACL 2021.

연구 동기 및 목표

• 인간이 레이블링한 의미 목록이 없이도 완전히 비지도로 단어 다의성을 추정할 수 있는 데이터 기반 방법을 개발하는 것.
• 기존 인간 기반 의미 랭킹과 강하게 상관되는 신뢰할 수 있고 재현 가능한 다의성 대체 지표를 제공하는 것.
• 추가적인 계산 비용 없이도 서로 다른 단어의 의미를 포함하는 문장을 자동으로 샘플링할 수 있도록 하는 것.
• 다양한 언어에서 의미 목록의 생성, 검증 및 해석을 지원하는 것.
• 자동 의미 유도를 위한 방법의 가능성을 탐색하는 것.

제안 방법

• 다양한 문장들에서 사전 훈련된 언어 모델을 사용하여 대상 단어의 문맥적 단어 임베딩 집합을 구성한다.
• 임베딩 공간에 계층적 다중해상도 격자를 적용하며, 해상도 수준은 l = 1에서 L까지 증가시킨다.
• 각 해상도 수준에서 단어 임베딩가 커버하는 격자 박스 비율을 계산하며, 이를 coveragel_w로 정의한다.
• 모든 수준의 커버리지 점수를 가중합으로 통합하여 점수를 산정한다: score(w) = Σ(coveragel_w * 2^(L-l)) for l = 1 to L.
• 비균일한 임베딩 밀도와 비균일한 공간 분할로 인한 편향을 피하기 위해 군집화 대신 분할 기반 기법을 사용한다.
• 결과로 도출된 격자 구조를 활용하여 의미적으로 떨어져 있고 흐린 밀도의 박스에서 대표 문장을 샘플링함으로써 서로 다른 단어의 의미를 식별한다.

실험 결과

연구 질문

• RQ1 제안된 다중해상도 격자 방법은 다양한 언어 자원에서 인간이 구성한 의미 랭킹과 얼마나 잘 상관되는가?
• RQ2 인간의 감독 없이도 다의성이 높은 단어와 단의성 단어를 신뢰성 있게 구분할 수 있는가?
• RQ3 격자 기반 이산화 기법을 얼마나 잘 활용하여 주어진 단어의 의미적으로 구분되는 맥락을 샘플링할 수 있는가?
• RQ4 선택된 격자 박스를 활용해 레이블링함으로써 자동 의미 유도를 수행할 수 있는가?
• RQ5 이 방법은 다양한 언어와 다른 문맥 임베딩 모델에 대해 얼마나 일반화되는가?

주요 결과

• 제안된 다의성 점수는 WordNet, OntoNotes, 옥스포드 사전 등에서 유래한 여섯 가지 별도의 인간 기반 의미 랭킹과 강한 통계적 유의성(p < 0.001)을 보이며 상관관계를 확보한다.
• 여섯 가지 표준 평가 지표에서 높은 상관관계(Spearman’s ρ > 0.75)를 확보하여 다양한 기준 자료에서의 강건성을 입증한다.
• 비균일한 임베딩 밀도와 비균일한 공간 분할로 인한 편향을 피하기 때문에, 군집 기반 대안보다 다중해상도 격자 접근법이 우수하다.
• 격자 구조에서 떨어진 박스를 선택하여 의미적으로 구분되는 문장을 비용 없이 자동으로 샘플링할 수 있다.
• 비지도 성격 덕분에 사전에 준비된 문맥 임베딩이 있는 언어라면 어떤 언어든 직접 적용 가능하며, 저자원 언어에도 적용 가능하다.
• 의미 목록의 생성 및 검증을 지원하는 확장 가능하고 일관된 다의성 대체 지표를 제공한다.