[论文解读] Word2vec Skip-gram Dimensionality Selection via Sequential Normalized Maximum Likelihood

Pham Thuc Hung, Kenji Yamanishi|arXiv (Cornell University)|Aug 18, 2020

Natural Language Processing Techniques参考文献 25被引用 5

一句话总结

本文提出了一种基于信息准则的新型方法，用于在 word2vec Skip-gram 模型中选择最优维度，采用序列归一化最大似然（SNML）准则。通过将 word2vec 框架化为真实上下文分布估计的概率分布问题，该方法选择能最好逼近真实上下文分布的维度，在合成数据和真实 NLP 任务的实证评估中，其表现优于 AIC、BIC、交叉验证和 PIP。

ABSTRACT

In this paper, we propose a novel information criteria-based approach to select the dimensionality of the word2vec Skip-gram (SG). From the perspective of the probability theory, SG is considered as an implicit probability distribution estimation under the assumption that there exists a true contextual distribution among words. Therefore, we apply information criteria with the aim of selecting the best dimensionality so that the corresponding model can be as close as possible to the true distribution. We examine the following information criteria for the dimensionality selection problem: the Akaike Information Criterion, Bayesian Information Criterion, and Sequential Normalized Maximum Likelihood (SNML) criterion. SNML is the total codelength required for the sequential encoding of a data sequence on the basis of the minimum description length. The proposed approach is applied to both the original SG model and the SG Negative Sampling model to clarify the idea of using information criteria. Additionally, as the original SNML suffers from computational disadvantages, we introduce novel heuristics for its efficient computation. Moreover, we empirically demonstrate that SNML outperforms both BIC and AIC. In comparison with other evaluation methods for word embedding, the dimensionality selected by SNML is significantly closer to the optimal dimensionality obtained by word analogy or word similarity tasks.

研究动机与目标

• 解决缺乏数据驱动、无需评估数据集的 word2vec Skip-gram 模型最优维度选择方法的问题。
• 将信息准则（特别是 SNML、AIC 和 BIC）应用于 word2vec 模型的维度选择。
• 开发高效的启发式方法，以计算计算成本高昂的 SNML 编码长度。
• 通过实证验证，SNML 所选维度在词类比和相似性任务上比现有方法更接近最优维度。
• 建立一个通用框架，通过基于似然的 NML/SNML 计算，推广至其他嵌入模型。

提出的方法

• 在真实上下文分布假设下，将 word2vec Skip-gram 框架化为隐式概率分布估计问题。
• 应用信息准则（AIC、BIC、SNML）选择使模型与真实分布偏差最小的维度。
• 提出新颖的启发式方法，以降低 SNML 编码长度计算的计算成本，从而实现实际应用。
• 采用原始 Skip-gram（oSG）和带负采样的 Skip-gram（SGNS）模型，验证方法在不同变体中的有效性。
• 利用 oSG 和 SGNS 的似然函数，计算 NML 和 SNML 编码长度，用于模型比较。
• 应用 SNML 准则选择使总编码长度最小的维度，实现模型拟合与复杂度之间的平衡。

实验结果

研究问题

• RQ1 信息准则（如 SNML）能否有效应用于 word2vec Skip-gram 模型的维度选择？
• RQ2 SNML 在选择与 NLP 任务最优性能对齐的维度方面，与 AIC、BIC、交叉验证和 PIP 相比表现如何？
• RQ3 能否开发高效的启发式方法，使 SNML 在真实世界词嵌入应用中计算上可行？
• RQ4 SNML 选择的维度是否比其他方法更接近由词类比和相似性任务识别出的最优维度？
• RQ5 通过定义其似然函数，该方法能否推广至其他嵌入模型？

主要发现

• 在词类比和相似性任务上，SNML 在选择更接近最优维度的维度方面，显著优于 AIC、BIC、交叉验证和 PIP。
• 在合成数据上，SNML 所选维度产生的上下文分布最接近真实分布，证实了其理论合理性。
• 在真实文本数据集上，对于 SGNS 模型，SNML 在 4 项任务（WA、WS、MEN、MTurk）中均优于 AIC、BIC、CV 和 PIP；对于 oSG 模型，在 3 项任务中表现更优。
• SNML 准则始终倾向于选择较低但足够的维度，有效惩罚过拟合，同时保持高性能。
• 所提出的启发式方法实现了 SNML 编码长度的实用计算，克服了将 SNML 应用于词嵌入时的主要瓶颈。
• 该方法是首个在不依赖人工构建评估数据集的前提下，将信息准则应用于词嵌入维度选择的研究。