[논문 리뷰] Word2vec Skip-gram Dimensionality Selection via Sequential Normalized Maximum Likelihood

Pham Thuc Hung, Kenji Yamanishi|arXiv (Cornell University)|2020. 08. 18.

Natural Language Processing Techniques참고 문헌 25인용 수 5

한 줄 요약

이 논문은 단어 임베딩 모델의 최적 차원 수를 선택하기 위해 정보 기준법을 활용한 새로운 방법을 제안한다. 이는 순차적 정규화된 최대 가능도(SNML) 기준을 사용하며, word2vec Skip-gram 모델을 진정한 문맥 분포를 추정하는 확률 분포 추정 문제로 재정의하여, 실제 분포에 가장 가까운 차원 수를 선택한다. 실증 평가에서 AIC, BIC, 교차검증, PIP보다 우수한 성능을 보였다. 이는 합성 데이터 및 실제 자연어 처리(NLP) 작업 모두에서 검증되었다.

ABSTRACT

In this paper, we propose a novel information criteria-based approach to select the dimensionality of the word2vec Skip-gram (SG). From the perspective of the probability theory, SG is considered as an implicit probability distribution estimation under the assumption that there exists a true contextual distribution among words. Therefore, we apply information criteria with the aim of selecting the best dimensionality so that the corresponding model can be as close as possible to the true distribution. We examine the following information criteria for the dimensionality selection problem: the Akaike Information Criterion, Bayesian Information Criterion, and Sequential Normalized Maximum Likelihood (SNML) criterion. SNML is the total codelength required for the sequential encoding of a data sequence on the basis of the minimum description length. The proposed approach is applied to both the original SG model and the SG Negative Sampling model to clarify the idea of using information criteria. Additionally, as the original SNML suffers from computational disadvantages, we introduce novel heuristics for its efficient computation. Moreover, we empirically demonstrate that SNML outperforms both BIC and AIC. In comparison with other evaluation methods for word embedding, the dimensionality selected by SNML is significantly closer to the optimal dimensionality obtained by word analogy or word similarity tasks.

연구 동기 및 목표

• 최적의 word2vec Skip-gram 차원 수를 선택하기 위한 데이터 기반, 평가 데이터셋이 없는 방법의 부족을 해결하기 위해.
• 정보 기준법—특히 SNML, AIC, BIC—을 word2vec 모델의 차원 수 선택에 적용하기 위해.
• 계산 비용이 높은 SNML 코드 길이를 계산하기 위한 효율적인 히ュ리스틱 기법을 개발하기 위해.
• 실증적으로 SNML이 단어 유추 및 유사도 작업에서 기존 방법보다 최적에 더 가까운 차원 수를 선택함을 입증하기 위해.
• 모델의 가능도 기반 NML/SNML 계산을 정의함으로써 다른 임베딩 모델에 일반화 가능한 프레임워크를 구축하기 위해.

제안 방법

• 진정한 문맥 분포를 가정하는 조건 하에서, word2vec Skip-gram을 암묵적인 확률 분포 추정 문제로 공식화한다.
• 정보 기준법(AIC, BIC, SNML)을 적용하여 진정한 분포에서의 모델 발산을 최소화하는 차원 수를 선택한다.
• SNML 코드 길이 계산의 계산 비용을 줄이기 위한 새로운 히ュ리스틱 기법을 제안하여 실용적 적용을 가능하게 한다.
• 원본 Skip-gram(oSG) 및 음성 샘플링을 적용한 Skip-gram(SGNS) 모델을 모두 활용하여 다양한 변형에 대해 방법의 유효성을 검증한다.
• oSG와 SGNS의 가능도 함수를 사용하여 NML 및 SNML 코드 길이를 계산하고, 모델 간 비교를 수행한다.
• SNML 기준을 적용하여 총 코드 길이를 최소화하는 차원 수를 선택함으로써, 모델 적합도와 복잡도 사이의 균형을 확보한다.

실험 결과

연구 질문

• RQ1 SNML과 같은 정보 기준법이 word2vec Skip-gram 모델의 차원 수 선택에 효과적으로 적용될 수 있는가?
• RQ2 SNML은 NLP 작업에서 최적 성능과 일치하는 차원 수를 선택할 때 AIC, BIC, 교차검증, PIP보다 어떻게 다른가?
• RQ3 SNML을 실세계 단어 임베딩 응용에 적용하기 위해 계산 비용을 감당할 수 있는 효율적인 히ュ리스틱 기법을 개발할 수 있는가?
• RQ4 SNML 기반 선택이 단어 유추 및 유사도 작업에서 최적 차원 수에 더 가까운 결과를 도출하는가?
• RQ5 다른 임베딩 모델에 적용하기 위해 가능도 함수를 정의함으로써 제안된 방법이 일반화 가능한가?

주요 결과

• SNML은 단어 유추 및 유사도 작업에서 AIC, BIC, 교차검증, PIP보다 최적의 차원 수에 훨씬 더 가까운 차원 수를 선택함을 입증하였다.
• 합성 데이터에서는 SNML이 선택한 차원 수가 진정한 분포에 가장 가까운 문맥 분포를 생성하여 이론적 타당성을 확인하였다.
• 실제 텍스트 데이터셋에서, SGNS 모델의 경우 4개의 작업(WA, WS, MEN, MTurk) 전부에서 SNML이 AIC, BIC, CV, PIP보다 최적에 더 가까운 차원 수를 선택하였고, oSG 모델의 경우 4개 중 3개의 작업에서 유사한 결과를 보였다.
• SNML 기준은 항상 낮은 그러나 충분한 차원 수를 선호하여 과적합을 효과적으로 억제하면서도 높은 성능를 유지한다.
• 제안된 히ュ리스틱 기법 덕분에 SNML 코드 길이의 실용적 계산이 가능해졌으며, 이는 SNML을 단어 임베딩에 적용하는 데 있어 주요 장벽을 극복한 것이다.
• 이 방법은 수작업으로 구성된 평가 데이터셋에 의존하지 않고 정보 기준법을 단어 임베딩 차원 수 선택에 적용한 최초의 방법이다.