[논문 리뷰] Embedding Words as Distributions with a Bayesian Skip-gram Model

Arthur Bražinskas, Serhii Havrylov외 1명|arXiv (Cornell University)|2017. 11. 29.

Topic Modeling참고 문헌 6인용 수 21

한 줄 요약

이 논문은 단어를 고정된 벡터가 아닌 확률 밀도 분포로 표현하는 베이지안 스킵그램 모델을 제안한다. 이는 근사 후행 추론을 통해 문맥에 따라 변하는 불확실성 모델링을 가능하게 한다. 기존 방법과 달리, 이 모델은 단어별 사전 분포에서 확률 분포로의 단어 임베딩을 생성하며, 문맥에 민감한 후행 밀도를 도출한다. 변분 자동에코딩 프레임워크를 사용하여 어휘 치환 및 표준 NLP 벤치마크에서 뛰어난 성능을 보였다.

ABSTRACT

We introduce a method for embedding words as probability densities in a low-dimensional space. Rather than assuming that a word embedding is fixed across the entire text collection, as in standard word embedding methods, in our Bayesian model we generate it from a word-specific prior density for each occurrence of a given word. Intuitively, for each word, the prior density encodes the distribution of its potential 'meanings'. These prior densities are conceptually similar to Gaussian embeddings. Interestingly, unlike the Gaussian embeddings, we can also obtain context-specific densities: they encode uncertainty about the sense of a word given its context and correspond to posterior distributions within our model. The context-dependent densities have many potential applications: for example, we show that they can be directly used in the lexical substitution task. We describe an effective estimation method based on the variational autoencoding framework. We also demonstrate that our embeddings achieve competitive results on standard benchmarks.

연구 동기 및 목표

• 고정된 단어 임베딩이 다의어와 문맥에 따라 변하는 의미를 포착하는 데 한계가 있음을 해결하기 위해.
• 단어 의미를 단일 벡터가 아닌, 불확실성과 의미 변동성을 반영하는 분포로 모델링하기 위해.
• 생성적 베이지안 프레임워크에서 유도된 후행 밀도를 통해 문맥에 특화된 추론을 가능하게 하기 위해.
• 이러한 문맥에 민감한 분포가 어휘 치환과 같은 하류 NLP 작업에서의 유용성을 입증하기 위해.

제안 방법

• 모델는 각 단어 발생이 단어별 사전 분포에서 잠재 의미를 추출하는 베이지안 확장 스킵그램 프레임워크를 사용한다.
• 에ncoder는 문맥에 특화된 후행 분포를 생성하는 변분 자동에코딩(VAE) 프레임워크를 활용한다.
• 사전 분포는 단어별로 매개변수화되며, 데이터에 의존하는 사전 분포로서 잠재적인 의미를 코딩한다.
• 후행 분포는 변분 추론을 통해 추론되며, 각 단어의 문맥에서의 불확실성 모델링을 가능하게 한다.
• 모델는 음성 샘플링을 사용한 확률적 경사 하강법으로 변분 하한 경계(ELBO)를 최적화한다.
• 사전 및 후행 분포 모두에 구형 공분산 행렬을 사용하여 학습 안정성과 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 다의어와 의미 불확실성을 포착하기 위해 단어 임베딩을 확률 밀도로 효과적으로 모델링할 수 있는가?
• RQ2 문맥에 특화된 후행 분포가 어휘 치환 및 기타 NLP 작업에서 성능 향상에 기여하는가?
• RQ3 문맥에 민감한 후행 분포는 고정된 분포 임베딩에 비해 의미 모델링에서 어떻게 비교되는가?
• RQ4 의미를 분포로 모델링하면 함의 관계와 같은 의미 관계를 더 잘 포착할 수 있는가?

주요 결과

• 베이지안 스킵그램 모델은 문맥에서 단어의 의미를 반영하는 문맥에 민감한 후행 분포를 성공적으로 생성한다. 예를 들어, 'kiwi'가 새와 관련된 문맥에서 나타날 경우, 'bird' 쪽으로 분포가 이동하는 것을 관찰할 수 있다.
• 모델는 어휘 치환 작업에서 최신 기준 성능을 달성하여, 후행 분포의 실용적 유용성이 단어 치환 예측에 기여한다는 것을 입증한다.
• 문맥에 특화된 후행 분포는 다의어 단어의 의미 변동성을 더 잘 포착하여 고정된 분포 임베딩보다 뛰어난 성능을 보인다.
• 표준 단어 유사도 및 어휘 유추 벤치마크에서 강력한 성능을 보이며, 스킵그램 및 가우시안 임베딩(W2G) 기준 모델과 경쟁 가능한 결과를 얻었다.
• 구형 공분산 행렬은 대각 또는 전체 공분산보다 더 뛰어난 성능을 보였으며, 이는 문맥에 특화된 모델링에 등방성 불확실성이 충분함을 시사한다.
• 레벨 세트 포함을 통한 함의 표현 능력은 검증되었지만, 직접 KL 발산 사용은 함의 탐지에 문제를 야기하는 것으로 밝혀졌다.