[논문 리뷰] Geometry of Polysemy

Jiaqi Mu, Suma Bhat외 1명|arXiv (Cornell University)|2016. 10. 24.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 K-Grassmeans를 제안하며, 다의어 모델링을 위한 비지도 학습 방법으로, 단어의 맥락을 저랭크 부분공간으로 표현하고, 그레아스만 기하학을 활용해 이러한 부분공간을 군집화하여 의미 유추를 수행한다. 동일한 단어의 의미에 해당하는 부분공간이 겹치는 것을 식별함으로써, 외부 자원을 사용하지 않고도 단어의 의미 유추 및 의미 해석 분석에서 최신 기술 수준의 성능을 달성한다. 이는 맥락적 단어 임베딩의 기하학적 구조를 활용한 것이다.

ABSTRACT

Vector representations of words have heralded a transformational approach to classical problems in NLP; the most popular example is word2vec. However, a single vector does not suffice to model the polysemous nature of many (frequent) words, i.e., words with multiple meanings. In this paper, we propose a three-fold approach for unsupervised polysemy modeling: (a) context representations, (b) sense induction and disambiguation and (c) lexeme (as a word and sense pair) representations. A key feature of our work is the finding that a sentence containing a target word is well represented by a low rank subspace, instead of a point in a vector space. We then show that the subspaces associated with a particular sense of the target word tend to intersect over a line (one-dimensional subspace), which we use to disambiguate senses using a clustering algorithm that harnesses the Grassmannian geometry of the representations. The disambiguation algorithm, which we call $K$-Grassmeans, leads to a procedure to label the different senses of the target word in the corpus -- yielding lexeme vector representations, all in an unsupervised manner starting from a large (Wikipedia) corpus in English. Apart from several prototypical target (word,sense) examples and a host of empirical studies to intuit and justify the various geometric representations, we validate our algorithms on standard sense induction and disambiguation datasets and present new state-of-the-art results.

연구 동기 및 목표

• 단일 벡터 기반의 단어 임베딩이 다의어를 포괄하지 못하는 한계를 해결하기 위해.
• WordNet과 같은 수작업으로 레이블링된 어휘 자원에 의존하지 않는 비지도 학습 방법을 개발하여 의미 유추 및 어근 표현을 수행하기 위해.
• 단어의 맥락을 벡터가 아닌 저차원 부분공간으로 모델링하여 기하학적 구조를 활용해 의미 군집화를 향상시키기 위해.
• 표준 벤치마크에서의 성능을 검증하고, 단어의 의미 유추 및 의미 해석 분석에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 목표 단어의 각 맥락을 주변 기능어(약 W ≈ 10개)의 단어 임베딩으로 생성된 저랭크 부분공간으로 표현한다.
• 동일한 단어의 의미에 해당하는 부분공간이 공통의 일차원 부분공간(직선)을 공유하며 교차하는 것으로 가정하며, 이는 해당 의미의 기하학적 기준점이 된다.
• 그레아스만 거리 측도를 사용해 부분공간 간 유사도를 측정하고, 공통의 교차선 주변의 유사도에 기반해 부분공간을 군집화한다.
• 그레아스만 기하학을 활용한 K-means 유사 군집 알고리즘을 부분공간에 적용하여 서로 다른 단어의 의미를 식별한다.
• 코퍼스 내 목표 단어의 각 인스턴스에 대해 유추된 의미를 부여하고, 맥락 부분공간의 벡터 평균을 통해 어근 표현(의미-단어 쌍)을 학습한다.
• 반복적인 소프트 및 하드 디코딩을 적용하여 의미 예측을 정밀화하고, 맥락 내 다의어 단어 간 상호 의미 해석을 통해 모호한 의미를 해결한다.

실험 결과

연구 질문

• RQ1 맥락을 단어 임베딩의 평균값이나 벡터로 표현하는 것보다 저랭크 부분공간으로 표현하는 것이 더 정확한가?
• RQ2 동일한 단어의 의미에 해당하는 부분공간의 교차가 비자명한 일차원 부분공간을 형성하는가? 이는 기하학적 의미 군집화를 가능하게 하는가?
• RQ3 외부 어휘 자원 없이도 그레아스만 기하학을 효과적으로 활용해 비지도 학습을 통해 의미 유추 및 의미 해석 분석을 수행할 수 있는가?
• RQ4 제안된 K-Grassmeans 방법은 기존 최신 기술 수준의 접근법과 비교해 단어의 의미 유추 및 유사도 작업에서 어떻게 성능을 내는가?

주요 결과

• 이 방법은 표준 단어의 의미 유추 및 의미 해석 분석 벤치마크에서 새로운 최신 기술 수준의 성능을 달성하여 이전의 비지도 접근법을 모두 능가한다.
• 실증 분석을 통해 동일한 의미의 맥락은 공통의 직선을 공유하는 부분공간에 위치함을 확인하여 핵심 기하학적 가정이 검증되었다.
• 맥락의 부분공간 표현은 단어 임베딩 평균값보다 의미 군집화에 더 효과적이며, 고차원적 의미 구조를 유지한다.
• 반복적인 디코딩 절차는 상호 맥락을 기반으로 모호한 의미를 해소함으로써 의미 해석 성능을 향상시키며, 특히 희귀하거나 혼동스러운 의미에 대해 유의미한 개선을 이룬다.
• 이 방법은 외부 사전에 의존하지 않고도 안정적이고 코퍼스 기반의 의미 군집을 성공적으로 유도하며, 부드러운 신뢰도 점수를 제공함으로써 다중 해상도의 의미 표현을 가능하게 한다.
• 저차원 부분공간은 점 기반의 벡터 모델보다 문장 수준의 의미를 더 안정적이고 정보량이 풍부하게 표현할 수 있어, 문장 및 단락 모델링 분야에 광범위한 함의를 지닌다.