[논문 리뷰] word2vec Skip-Gram with Negative Sampling is a Weighted Logistic PCA

Andrew J. Landgraf, Jeremy Bellay|arXiv (Cornell University)|2017. 05. 27.

Topic Modeling참고 문헌 7인용 수 13

한 줄 요약

이 논문은 단어 임베딩에서 널리 사용되지만 확률론적으로 잘 이해되지 않았던 skip-gram with negative sampling (SGNS)이 가중 로지스틱 PCA와 수학적으로 동일하다고 밝힌다. 여기서 단어-맥락 쌍은 공기 빈도와 부정 샘플링 비율에 기반한 가중치를 가진 이항 시행으로 모델링된다. 주요 기여는 SGNS를 지수족 PCA에 연결하는 통합된 확률적 해석을 제공함으로써, 이는 더 나은 이해와 다른 방법(예: GloVe)과의 비교, 그리고 고차원 텐서 분해로의 확장을 가능하게 한다.

ABSTRACT

We show that the skip-gram formulation of word2vec trained with negative sampling is equivalent to a weighted logistic PCA. This connection allows us to better understand the objective, compare it to other word embedding methods, and extend it to higher dimensional models.

연구 동기 및 목표

• 스킵그램과 부정 샘플링(SGNS)의 기본 통계적 메커니즘을 명확히 하여, 널리 사용되지만 확률론적으로 잘 이해되지 않은 점을 해결한다.
• SGNS와 지수족 PCA, 특히 이항 우도를 가진 가중 로지스틱 PCA 사이의 공식적인 연결 고리를 수립한다.
• SGNS의 암묵적 정규화와 가중치 부여 방식을 원칙적으로 해석할 수 있는 해석을 제공한다.
• 모든 방법을 동일한 확률적 프레임워크에 둠으로써, GloVe나 행렬 분해 기반 접근법과 같은 다른 단어 임베딩 방법과의 비교를 가능하게 한다.
• SGNS를 고차원 모델로 확장하여, 텐서 분해 설정에서 문서, 단어, 맥락 벡터를 동시에 학습할 수 있도록 한다.

제안 방법

• 논문은 SGNS 목적함수를 가중 최대우도 추정 문제로 유도하며, 여기서 반응은 관측된 단어-맥락 쌍의 비율이고, 가중치는 각 쌍에 대한 전체 기회 수이다.
• SGNS 목적함수는 반응 $ x_{w,c} = \frac{P_D(w,c)}{P_D(w,c) + kP_D(w)P_D(c)} $ 와 가중치 $ n_{w,c} + k n_w P_D(c) $ 를 가진 가중 로지스틱 PCA 목적함수와 동일하다는 것을 보여준다.
• 부정 샘플링을 $ n_{w,c} $ 번의 성공과 $ k n_w P_D(c) $ 번의 실패를 가진 이항 시행으로 해석함으로써, 로그오즈의 최대우도 추정치를 도출한다.
• SGNS 목적함수를 로지스틱 PCA의 최대우도 로그우도로 재표현하여, $ \sum_{w,c} w_{w,c} (x_{w,c} \theta_{w,c} - \log(1 + \exp(\theta_{w,c}))) $ 와 동일하다는 것을 보여주며, 여기서 $ \theta_{w,c} = \mathbf{v}_w^T \mathbf{v}_c $ 이다.
• 가중 최소제곱을 사용하는 대안적 SGNS-LS 변형을 제안하여, 계산 효율성을 높이고 GloVe의 가중치 부여 방식보다 개념적으로 유리할 수 있다.
• Cotterell 등(2017)의 연구에서 유사하게 문서 수준의 벡터를 포함하여, SGNS를 고차원 텐서 분해로 확장할 수 있도록 제안한다.

실험 결과

연구 질문

• RQ1 SGNS에 대한 확률적 해석이 존재하는가? 이는 경험적 성공을 넘어서 그 목적함수의 본질을 설명할 수 있는가?
• RQ2 부정 샘플링 과정은 이항 또는 로지스틱 회귀 모델과 어떻게 관련이 있는가?
• RQ3 SGNS는 지수족 프레임워크 내에서 기존의 행렬 분해나 PCA 방법과 공식적으로 연결될 수 있는가?
• RQ4 이 연결 고리가, 특히 GloVe와 같은 다른 임베딩 방법과의 비교에 미치는 영향은 무엇인가?
• RQ5 SGNS 프레임워크는 문서 벡터와 같은 고차원 요소를 텐서 분해 설정에서 포함하도록 확장될 수 있는가?

주요 결과

• SGNS는 이항 우도를 가진 가중 로지스틱 PCA와 수학적으로 동일하며, 반응은 관측된 단어-맥락 공기 빈도 비율이고, 가중치는 전체 기회 수를 반영한다.
• SGNS의 가중치 부여 방식은 희귀 공기 빈도를 증가된 부정 샘플 수로 암묵적으로 정규화하며, $ k $ 가 클수록 낮은 빈도의 쌍에 대한 영향이 감소한다.
• 추정 확률 $ x_{w,c} $ 의 로그오즈는 $ \text{PMI}(w,c) - \log k $ 와 일치하며, 이는 Levy와 Goldberg(2014)의 결과를 통합된 확률적 해석으로 복원한다.
• 제안된 가중 로지스틱 PCA 프레임워크는 Marginal 빈도를 고려하고 희귀 공기 빈도의 가능성에 더 잘 반영하므로, GloVe의 가중치 부여 방식보다 개념적 우월성을 가진다.
• 가중 최소제곱을 사용하는 대안적 SGNS-LS 방법이 제안되었으며, 이는 계산적 이점과 Spotify의 로지스틱 행렬 분해와 같은 협업 필터링 접근과 더 잘 맞을 수 있다.
• 지수족 PCA와의 연결 고리는 SGNS를 문서, 단어, 맥락 벡터를 동시에 학습하는 텐서 분해를 통한 고차원 모델로의 확장이 가능하게 한다.