[논문 리뷰] word2vec Parameter Learning Explained

Xin Rong|arXiv (Cornell University)|2014. 11. 11.

Topic Modeling참고 문헌 5인용 수 659

한 줄 요약

이 논문은 word2vec 모델의 파라미터 학습 과정에 대한 종합적인 수학적 유도와 직관적인 설명을 제공하며, 연속적 백터 모델(CBOW)과 스킵그램 아키텍처를 모두 포함한다. 확률적 경사 하강법, 계층적 소프트맥스, 그리고 음성 샘플링을 사용한 기울기 업데이트의 상세한 유도를 포함한다. 주요 기여는 신경망 전문가가 아닌 사람들에게도 접근할 수 있도록, 역전파와 최적화 기법을 통해 단어 벡터 표현이 어떻게 학습되는지 명확하고 단계별로 설명하는 데 있다.

ABSTRACT

The word2vec model and application by Mikolov et al. have attracted a great amount of attention in recent two years. The vector representations of words learned by word2vec models have been shown to carry semantic meanings and are useful in various NLP tasks. As an increasing number of researchers would like to experiment with word2vec or similar techniques, I notice that there lacks a material that comprehensively explains the parameter learning process of word embedding models in details, thus preventing researchers that are non-experts in neural networks from understanding the working mechanism of such models. This note provides detailed derivations and explanations of the parameter update equations of the word2vec models, including the original continuous bag-of-word (CBOW) and skip-gram (SG) models, as well as advanced optimization techniques, including hierarchical softmax and negative sampling. Intuitive interpretations of the gradient equations are also provided alongside mathematical derivations. In the appendix, a review on the basics of neuron networks and backpropagation is provided. I also created an interactive demo, wevi, to facilitate the intuitive understanding of the model.

연구 동기 및 목표

• 신경망 전문 지식이 없는 연구자들에게 word2vec 모델의 파라미터 학습 과정을 상세하고 이해하기 쉽게 설명하는 것.
• 확률적 경사 하강법을 사용하여 CBOW 및 스킵그램 모델의 기울기 업데이트 식을 도출하고 설명하는 것.
• word2vec에서 사용하는 고급 최적화 기법인 계층적 소프트맥스와 음성 샘플링의 수학적 기초를 명확히 하는 것.
• 역전파를 통한 단어 임베딩 학습의 직관적 이해와 형식적 유도 사이의 격차를 메우는 것.
• 인터랙티브 데모(wevi)와 부록에서 신경망 기초를 검토하여 학습을 지원하는 것.

제안 방법

• 입력 문맥이 주어졌을 때 올바른 타겟 단어를 예측하는 데 대한 음수 로그우도로 word2vec의 손실 함수를 유도한다.
• 역전파를 사용하여 출력층 가중치에 대한 손실의 기울기를 유도하여 업데이트 규칙을 도출한다: $ \mathbf{v}'_{w_j}^{\text{new}} = \mathbf{v}'_{w_j}^{\text{old}} - \eta (y_j - t_j) \mathbf{h} $.
• 유사한 방식으로 은닉층을 통해 오차를 역전파하여 입력 벡터 $ \mathbf{v}_w $의 업데이트를 도출한다.
• 계산 비용을 줄이기 위한 전통적 소프트맥스의 대안으로 음성 샘플링을 도입하고, 음성 단어를 샘플링하기 위한 노이즈 분포 $ P_n(w) $ 를 사용한다.
• 음성 샘플링의 손실 함수를 유도한다: $ E = -\log\sigma(\mathbf{v}'_{w_O}^T \mathbf{h}) - \sum_{w_j \in \mathcal{W}_{\text{neg}}} \log\sigma(-\mathbf{v}'_{w_j}^T \mathbf{h}) $.
• 음성 샘플링 하에서 출력 및 입력 벡터의 기울기 업데이트 규칙을 유도한다: $ \mathbf{v}'_{w_j}^{\text{new}} = \mathbf{v}'_{w_j}^{\text{old}} - \eta (\sigma(\mathbf{v}'_{w_j}^T \mathbf{h}) - t_j) \mathbf{h} $, 이는 올바른 단어와 샘플된 음성 단어에만 적용된다.

실험 결과

연구 질문

• RQ1 CBOW 및 스킵그램 모델에서 학습 중 단어 벡터 파라미터는 어떻게 업데이트되는가?
• RQ2 표준 word2vec 모델에서 소프트맥스를 사용할 경우 출력층 가중치에 대한 기울기 업데이트 규칙의 수학적 유도는 무엇인가?
• RQ3 음성 샘플링은 계산 비용을 어떻게 줄이고 효과적인 단어 벡터 학습을 유지하는가?
• RQ4 음성 샘플링에서 노이즈 분포 $ P_n(w) $ 의 역할은 무엇이며, 학습 목표에 어떻게 영향을 주는가?
• RQ5 역전파를 통해 출력층에서 입력층으로 오차가 어떻게 전파되어 입력 단어 벡터를 업데이트하는가?

주요 결과

• 출력 벡터 $ \mathbf{v}'_{w_j} $ 에 대한 손실의 기울기는 $ (\sigma(\mathbf{v}'_{w_j}^T \mathbf{h}) - t_j) \mathbf{h} $ 이며, 여기서 $ t_j = 1 $ 이면 $ w_j $ 가 올바른 출력 단어이고, 그렇지 않으면 0이다.
• 음성 샘플링 하에서 출력 벡터의 업데이트 규칙은 올바른 단어와 K개의 샘플된 음성 단어에만 적용되며, 전체 소프트맥스와 비교해 계산 비용을 크게 줄인다.
• 은닉층 출력에 대한 기울기 $ \partial E / \partial \mathbf{h} $ 는 예측 오차에 가중치가 붙은 출력 벡터 기울기의 합이며, 이는 입력 벡터로의 역전파를 가능하게 한다.
• CBOW의 입력 벡터 업데이트 식은 모든 문맥 단어에 대한 은닉층 오차를 합산하여 도출되며, $ \mathbf{v}_{w_c}^{\text{new}} = \mathbf{v}_{w_c}^{\text{old}} - \eta \cdot \text{EH} / C $ 로 표현된다. 여기서 EH는 출력층에서 유도된 총 오차이다.
• 논문은 음성 샘플링이 이전 연구(Mikolov et al., 2013b)에서 경험적으로 확인된 바와 같이 훨씬 빠른 학습 시간과 함께 고품질의 단어 임베딩을 생성함을 확인한다.
• 유도 결과에 따르면 음성 샘플링의 목적 함수는 올바른 단어가 음성 샘플보다 더 높은 유사도 점수를 가지도록 유도하는 대비 손실을 최소화하는 것과 동치임을 보여준다.