[논문 리뷰] Controlled Experiments for Word Embeddings

Benjamin J. Wilson, Adriaan M. J. Schakel|arXiv (Cornell University)|2015. 10. 09.

Topic Modeling참고 문헌 11인용 수 13

한 줄 요약

이 논문은 단어 빈도와 공현성 노이즈가 word2vec CBOW 단어 벡터 성질에 미치는 영향을 분리하기 위해 수정된 학습 코퍼스를 사용한 통제 실험을 제안한다. 빈도와 노이즈 수준을 조절할 수 있는 가짜 단어를 삽입함으로써, 저자들은 벡터 길이가 둘 다 선형적으로 영향을 받음을 입증한다. 또한 순수한 노이즈의 벡터는 0이지만 비영이므로 특성 공간 내 원점이 아닌 특별한 점임을 드러낸다.

ABSTRACT

An experimental approach to studying the properties of word embeddings is proposed. Controlled experiments, achieved through modifications of the training corpus, permit the demonstration of direct relations between word properties and word vector direction and length. The approach is demonstrated using the word2vec CBOW model with experiments that independently vary word frequency and word co-occurrence noise. The experiments reveal that word vector length depends more or less linearly on both word frequency and the level of noise in the co-occurrence distribution of the word. The coefficients of linearity depend upon the word. The special point in feature space, defined by the (artificial) word with pure noise in its co-occurrence distribution, is found to be small but non-zero.

연구 동기 및 목표

• 단어 임베딩에서 단어 빈도와 공현성 노이즈가 단어 벡터 성질에 미치는 독립적 영향을 분리하는 것.
• 벡터 길이와 방향이 이 두 요소에 의해 체계적으로 영향을 받는지, 제어 가능하고 측정 가능한 방식으로 영향을 받는지 조사하는 것.
• 순수한 노이즈를 포함한 단어의 벡터가 특성 공간의 원점에 있는지, 아니면 비영인 점에 있는지 확인하는 것.
• 모델 내부 정보를 필요로 하지 않고도 어떤 단어 임베딩 모델에도 적용 가능한 일반화 가능한 실험 프레임워크를 제공하는 것.

제안 방법

• 빈도와 공현성 노이즈 수준을 제어할 수 있도록 가짜 단어를 학습 코퍼스에 삽입한다.
• 가짜 단어의 공현성 분포를 고정하면서 빈도를 변화시켜 빈도 영향을 분리한다.
• 빈도를 일정하게 유지하면서 공현성 분포에서 노이즈 비율을 증가시켜 노이즈 영향을 분리한다.
• 수정된 코퍼스를 기반으로 word2vec CBOW 모델을 학습하고, 첫 번째( syn0) 및 두 번째( syn1neg) 시냅스 계층에서 단어 벡터를 추출한다.
• 코사인 유사도와 벡터 길이 분석을 통해 빈도와 노이즈에 대한 방향성 및 크기 변화를 연구한다.
• 순수한 배경 노이즈를 나타내는 'VOID' 단어와 비교하여 특성 공간 내 특별한 점을 식별한다.

실험 결과

연구 질문

• RQ1 공현성 분포를 일정하게 유지할 때 단어 벡터 길이는 단어 빈도와 어떻게 변하는가?
• RQ2 빈도를 일정하게 유지할 때 공현성 노이즈가 증가함에 따라 단어 벡터 길이는 어떻게 변화하는가?
• RQ3 공현성 분포에 순수한 노이즈가 포함된 단어(VOID)의 벡터는 특성 공간의 원점에 있는가?
• RQ4 공현성 노이즈가 증가함에 따라 단어 벡터 방향은 어떻게 부드럽게 변화하는가?
• RQ5 순수한 노이즈를 가진 가짜 단어의 벡터는 특성 공간 내 안정적이고 비영인 흡인점으로 해석될 수 있는가?

주요 결과

• 공현성 노이즈를 일정하게 유지할 때 단어 벡터 길이는 빈도와 거의 선형적으로 변한다.
• 빈도를 일정하게 유지할 때 공현성 노이즈가 증가함에 따라 단어 벡터 길이는 선형적으로 감소하며, 선형 계수는 단어에 따라 달라진다.
• 순수한 노이즈를 가진 가짜 단어(VOID)의 벡터는 작지만 0이 아니므로 특성 공간 내 원점이 아닌 특별한 점임을 시사한다.
• 공현성 노이즈가 증가함에 따라 단어 벡터 방향은 원래 단어 벡터에서 거의 수직 방향으로 부드럽게 보간된다.
• 순수한 노이즈 단어(VOID)의 벡터는 점점 증가하는 노이즈를 가진 가짜 단어들에 대해 공통의 흡인점으로 작용하지만, VOID의 전체 맥락을 충분히 샘플링하지 못함으로써 수렴은 제한된다.
• 첫 번째 시냅스 계층(syn0)의 벡터 길이는 두 번째 계층(syn1neg)보다 빈도와 노이즈와의 선형 관계가 더 뚜렷하다.