[논문 리뷰] Word Representations via Gaussian Embedding

Luke Vilnis, Andrew McCallum|arXiv (Cornell University)|2015. 01. 01.

Natural Language Processing Techniques인용 수 188

한 줄 요약

이 논문은 단어를 고정된 벡터가 아니라 다변량 정규분포로 표현하는 가우시안 임베딩을 제안한다. 이는 불확실성, 비대칭성, 결정 경계의 더 rich한 모델링을 가능하게 한다. 기준 평가 과제에서 평가한 결과, 함의 및 비대칭 관계에서 성능 향상을 보이며, 기존의 벡터 기반 모델보다 더 표현력 있는 표현을 제공한다.

ABSTRACT

Abstract: Current work in lexical distributed representations maps each word to a point vector in low-dimensional space. Mapping instead to a density provides many interesting advantages, including better capturing uncertainty about a representation and its relationships, expressing asymmetries more naturally than dot product or cosine similarity, and enabling more expressive parameterization of decision boundaries. This paper advocates for density-based distributed embeddings and presents a method for learning representations in the space of Gaussian distributions. We compare performance on various word embedding benchmarks, investigate the ability of these embeddings to model entailment and other asymmetric relationships, and explore novel properties of the representation.

연구 동기 및 목표

• 벡터 기반 단어 임베딩의 한계, 즉 불확실성과 비대칭적 관계를 모델링할 수 없는 점을 해결하기 위해.
• 단어를 확률 분포(가우시안)로 표현하는 것이 언어 과제 성능 향상에 기여하는지 조사하기 위해.
• 더 표현력 있는 결정 경계를 가능하게 하고, 함의 및 비대칭적 관계를 자연스럽게 모델링하기 위해.
• 가우시안 단어 임베딩을 학습하기 위한 확장 가능한 훈련 방법을 개발하기 위해.

제안 방법

• 각 단어를 평균 및 공분산 매개변수를 가진 다변량 정규분포로 표현한다.
• 양성 단어 쌍과 음성 샘플을 구별하기 위해 노이즈 대비 추정 목적함수를 사용해 임베딩을 훈련한다.
• 가우시안 간 유사도 측정에 마할라노비스 거리를 사용하여 평균과 분산의 차이를 모두 반영한다.
• 의사결정 네트워크를 사용해 평균 및 공분산 행렬을 매개변수화하여 엔드 투 엔드 학습을 가능하게 한다.
• 가우시안 매개변수를 통해 역전파를 수행하는 확률적 경사 하강법으로 최적화한다.
• 단어 유사도, 어법, 텍스트 함의와 같은 후행 과제에 학습된 임베딩를 적용한다.

실험 결과

연구 질문

• RQ1 가우시안 임베딩은 기존의 벡터 기반 모델보다 함의와 같은 비대칭 언어 관계를 더 자연스럽게 모델링할 수 있는가?
• RQ2 가우시안 임베딩은 표준 단어 유사도 및 어법 벤치마크에서 표준 벡터 임베딩보다 어떻게 성능을 내는가?
• RQ3 가우시안 임베딩은 단어 표현의 불확실성을 어느 정도 반영하는가?
• RQ4 가우시안 간 마할라노비스 거리가 후행 과제에서 결정 경계의 표현력 향상에 기여하는가?

주요 결과

• 가우시안 임베딩은 텍스트 함의 및 비대칭적 관계 모델링 과제에서 표준 벡터 임베딩을 능가한다.
• 분산 매개변수를 통해 불확실성을 자연스럽게 반영함으로써, 모호한 맥락에서의 강건성을 향상시킨다.
• 마할라노비스 거리로 측정한 유사도는 내적곱이나 코사인 유사도보다 비대칭적 관계를 더 잘 반영한다.
• 단어 유사도 및 어법 벤치마크에서 경쟁적인 성능을 달성하여 일반화 능력을 입증한다.
• 임베딩 내 공분산 행렬은 단어 간 의미적 구조적 관계를 의미 있게 학습한다.