[논문 리뷰] Probabilistic FastText for Multi-Sense Word Embeddings

Ben Athiwaratkun, Andrew Gordon Wilson외 1명|arXiv (Cornell University)|2018. 06. 07.

Topic Modeling참고 문헌 18인용 수 31

한 줄 요약

이 논문은 확률적 FastText(pft)를 제안하며, 서브워드 n-그램 표현과 가우시안 혼합 밀도를 결합하여 다의미적이고 불확실성 인식형 단어 임베딩을 학습한다. 각 단어를 n-그램에서 유도된 성분 평균을 가진 가우시안 혼합 모델로 모델링함으로써, 희귀어 및 OOV(등장하지 않은 단어)에 특히 유리하게 단어 유사도 및 의미 해석 분리 벤치마크에서 최신 기술 수준의 성능을 달성하며, FastText와 이전의 확률적 모델보다 각각 3.7%와 3.1% 향상된다.

ABSTRACT

We introduce Probabilistic FastText, a new model for word embeddings that can capture multiple word senses, sub-word structure, and uncertainty information. In particular, we represent each word with a Gaussian mixture density, where the mean of a mixture component is given by the sum of n-grams. This representation allows the model to share statistical strength across sub-word structures (e.g. Latin roots), producing accurate representations of rare, misspelt, or even unseen words. Moreover, each component of the mixture can capture a different word sense. Probabilistic FastText outperforms both FastText, which has no probabilistic model, and dictionary-level probabilistic embeddings, which do not incorporate subword structures, on several word-similarity benchmarks, including English RareWord and foreign language datasets. We also achieve state-of-art performance on benchmarks that measure ability to discern different meanings. Thus, the proposed model is the first to achieve multi-sense representations while having enriched semantics on rare words.

연구 동기 및 목표

• 희귀어, 철자 오류, 또는 등장하지 않은 단어를 다루는 사전 기반 단어 임베딩의 한계를 해결하기 위해.
• 서브워드 수준의 표현에 불확실성과 다의미를 통합하기 위해.
• FastText의 특징(서브워드 공유)과 확률적 임베딩의 장점(다의미 모델링)을 결합하여 더 나은 의미 품질을 갖춘 모델을 개발하기 위해.
• 초기화 또는 하이퍼파라미터 조정 없이 저자원 언어 및 외국어로의 제로샷 일반화를 가능하게 하기 위해.

제안 방법

• 각 단어를 가우시안 혼합 밀도(pft-gm)로 표현하며, 각 성분의 평균은 n-그램 벡터의 합으로 구성된다.
• n-그램 벡터(예: 'abno', 'bnor')를 사용해 서브워드 구조를 인코딩함으로써 관련된 단어들 간에 통계적 강도를 전이할 수 있도록 한다.
• 유사도 및 의미 해석 분리를 최적화하기 위해 에너지 기반의 최대 마진 목적함수를 사용해 모델을 훈련시킨다.
• 각 혼합 성분이 별개의 단어 의미를 포착하도록 하여 다중모달 표현을 가능하게 한다.
• 탄력성과 모델 복잡성의 균형을 위해 고정된 성분 수(K=2)를 사용하며, K=1을 기준선으로 삼는다.
• 공통된 서브워드 루트를 공유함으로써 다국어 환경에서도 모델을 적용한다.

실험 결과

연구 질문

• RQ1 확률 밀도 모델링을 적용한 서브워드 수준 표현이 희귀어 및 등장하지 않은 단어의 의미 품질을 향상시킬 수 있는가?
• RQ2 n-그램 벡터 위에 가우시안 혼합 모델을 적용하면 단일 임베딩 내에서 다의미를 효과적으로 해석할 수 있는가?
• RQ3 불확실성과 다의미 모델링의 통합이 단어 유사도 및 의미 분리 벤치마크 성능에 어떤 영향을 미치는가?
• RQ4 모델이 재학습 또는 하이퍼파라미터 조정 없이 저자원 언어 및 외국어 데이터셋으로 얼마나 잘 일반화되는가?

주요 결과

• pft는 단어 유사도 벤치마크에서 FastText보다 평균 3.7%의 가중 향상을 보였으며, 이는 희귀어 및 외국어 데이터셋에서도 동일하게 적용된다.
• 동일한 벤치마크에서 사전 수준의 확률적 임베딩(w2gm 등)보다 3.1% 향상되어 더 뛰어난 의미 품질을 입증한다.
• 의미 해석 분리용 SCWS 벤치마크에서 pft-gm는 기존 최고 성능 모델인 w2gm보다 1.0% 향상되어 최신 기술 수준의 성능을 달성한다.
• 최근접 이웃 분석을 통해 각 혼합 성분이 별개의 단어 의미를 포착하고 있음을 확인하였으며, 예를 들어 'voler'이 '盗む'(도둑질) 또는 '飛ぶ'(날다)로 구분됨을 보여주어 분리되고 해석 가능한 표현을 제공한다.
• 모델은 해외 언어로의 일반화에 성공하였으며, 하이퍼파라미터 조정 없이도 여러 외국어 단어 유사도 데이터셋에서 FastText를 능가하는 성능을 보였다.
• K=2 성분임에도 불구하고, 임베딩 공간에서 의미적으로 구분되는 이웃들을 군집화할 수 있음으로써, 단어당 두 개 이상의 의미를 포착하고 있음을 입증한다.