[논문 리뷰] Improving Negative Sampling for Word Representation using Self-embedded Features

Long Chen, Fajie Yuan외 2명|arXiv (Cornell University)|2017. 10. 26.

Topic Modeling인용 수 3

한 줄 요약

이 논문은 전통적인 인기 기반 샘플링을 개선하기 위해 다차원 자기 임bedding 특징을 사용하여 정보성 있는 부정 샘플을 동적으로 선택하는 적응형 부정 샘플링 방법을 제안한다. 임베딩 벡터와 현재의 SGD 파라미터 상태를 모두 활용함으로써 기울기 소실을 감소시키고 수렴 속도를 향상시키며, 계산 복잡도를 증가시키지 않으면서도 베이스라인 word2vec보다 뚜렷한 성능 향상을 달성한다.

ABSTRACT

Although the word-popularity based negative sampler has shown superb performance in the skip-gram model, the theoretical motivation behind oversampling popular (non-observed) words as negative samples is still not well understood. In this paper, we start from an investigation of the gradient vanishing issue in the skipgram model without a proper negative sampler. By performing an insightful analysis from the stochastic gradient descent (SGD) learning perspective, we demonstrate that, both theoretically and intuitively, negative samples with larger inner product scores are more informative than those with lower scores for the SGD learner in terms of both convergence rate and accuracy. Understanding this, we propose an alternative sampling algorithm that dynamically selects informative negative samples during each SGD update. More importantly, the proposed sampler accounts for multi-dimensional self-embedded features during the sampling process, which essentially makes it more effective than the original popularity-based (one-dimensional) sampler. Empirical experiments further verify our observations, and show that our fine-grained samplers gain significant improvement over the existing ones without increasing computational complexity.

연구 동기 및 목표

• 인기 기반 부정 샘플링의 한계를 해결하기 위해, 빈번하지만 자주 관련성이 없는 단어들을 과도하게 샘플링하고 동적 파라미터 상태를 忽시하는 문제를 해결한다.
• 나쁜 샘플링 전략 하에서 스킵그램 모델에서 기울기 소실이 어떻게 나타나는지 이론적이고 경험적으로 분석한다.
• 빈도가 아닌 다차원적 의미적 및 문법적 특징에 기반해 높은 정보성의 부정 샘플을 선택하는 샘플링 방법을 개발한다.
• 제안된 방법이 일정한 분할된 런타임을 유지하여 효율성을 유지하면서도 모델 정확도를 향상시킬 수 있도록 보장한다.

제안 방법

• 제안된 적응형 샘플러는 타겟 단어 임베딩과 문맥 단어 임베딩 간의 내적 곱 점수를 기반으로 부정 샘플을 선택하며, 더 높은 점수(더 관련성 있는) 후보를 우선시한다.
• 각 SGD 단계 동안 샘플링 분포를 동적으로 업데이트하여 현재 모델 파라미터 상태를 반영함으로써 정보성 있는 부정 샘플을 우선순위로 지정한다.
• 샘플링 과정에 의미적 및 문법적 특징을 포함한 다차원 임베딩 특징을 통합함으로써 일차원적 인기 점수를 넘어서는 접근을 한다.
• 알고리즘은 각 업데이트당 분할된 O(d) 런타임을 유지하며, 여기서 d는 임베딩 차원이다. 이는 단일 내적 연산의 비용과 동일하다.
• 샘플러는 원래의 균일하거나 인기 기반 부정 샘플링을 대체하기 위해 스킵그램 및 CBOW 아키텍처에 모두 통합된다.
• SGD 최적화 관점에서의 이론적 분석을 통해 더 높은 내적 곱 점수는 더 정보성 있는 기울기를 제공하며, 이는 수렴 속도와 정확도 향상에 기여한다.

실험 결과

연구 질문

• RQ1 왜 인기 기반 부정 샘플링은 관련성이 없는 단어들을 과도하게 샘플링함에도 불구하고 잘 작동하는가?
• RQ2 나쁜 부정 샘플링 전략을 사용할 경우 word2vec에서 기울기 소실 문제는 어떻게 나타나는가?
• RQ3 내적 곱 점수 기반의 임베딩 유사도 샘플링이 빈도 기반 샘플링보다 수렴 속도와 정확도 측면에서 뛰어나게 되는가?
• RQ4 다차원 의미적 특징을 부정 샘플링에 통합하면 계산 비용을 증가시키지 않고도 단어 표현 품질을 향상시킬 수 있는가?

주요 결과

• 적응형 샘플러는 단어 유추 및 단어 유사도 작업에서 원래의 word2vec 베이스라인을 크게 능가하며, SGA는 SG 및 SGU보다 높은 정확도를 달성한다.
• NewsIR 데이터셋에서 k > 15인 경우에 메서드가 수렴함을 확인하여 균일 샘플링 대비 강건성과 과적합 감소를 입증한다.
• CBOWA 및 SGA 모델은 각각의 대응 모델(CBOW 및 SG)을 항상 능가하며, 아키텍처 간에 적응형 샘플링의 효과를 확인한다.
• 적응형 샘플러의 학습 시간은 약간 증가하였으며, 예를 들어 d=300일 때 NewsIR에서 37.4분에서 388.9분으로 증가함을 확인하여 분할된 O(d) 런타임을 확인하고 계산 오버헤드가 유의미하지 않음을 입증한다.
• 높은 점수를 받고 의미적으로 관련성이 높은 부정 샘플을 우선시함으로써 기울기 소실을 효과적으로 완화하고, 더 효과적인 파라미터 업데이트를 이끌어낸다.