[论文解读] Improving Negative Sampling for Word Representation using Self-embedded Features

Long Chen, Fajie Yuan+2 more|arXiv (Cornell University)|Oct 26, 2017

Topic Modeling被引用 3

一句话总结

本文提出了一种用于词表示学习的自适应负采样方法，通过利用多维自嵌入特征动态选择信息量丰富的负样本，改进了传统的基于流行度的采样方法。该方法结合嵌入向量与当前SGD参数状态，减少了梯度消失问题，加速了收敛速度，并在不增加计算复杂度的前提下显著提升了基线word2vec的性能。

ABSTRACT

Although the word-popularity based negative sampler has shown superb performance in the skip-gram model, the theoretical motivation behind oversampling popular (non-observed) words as negative samples is still not well understood. In this paper, we start from an investigation of the gradient vanishing issue in the skipgram model without a proper negative sampler. By performing an insightful analysis from the stochastic gradient descent (SGD) learning perspective, we demonstrate that, both theoretically and intuitively, negative samples with larger inner product scores are more informative than those with lower scores for the SGD learner in terms of both convergence rate and accuracy. Understanding this, we propose an alternative sampling algorithm that dynamically selects informative negative samples during each SGD update. More importantly, the proposed sampler accounts for multi-dimensional self-embedded features during the sampling process, which essentially makes it more effective than the original popularity-based (one-dimensional) sampler. Empirical experiments further verify our observations, and show that our fine-grained samplers gain significant improvement over the existing ones without increasing computational complexity.

研究动机与目标

• 为解决word2vec中基于流行度的负采样方法的局限性，该方法过度采样频繁但常无关紧要的词语，且忽略了动态参数状态。
• 探究在不良采样策略下，梯度消失问题在skip-gram模型中的理论与实证成因。
• 开发一种基于多维语义与句法特征而非仅频率的采样方法，以选择高信息量的负样本。
• 确保所提方法保持恒定的摊销运行时间，从而在提升模型准确率的同时维持效率。

提出的方法

• 所提出的自适应采样器基于目标词嵌入与上下文词嵌入之间的内积得分选择负样本，优先选择得分更高（更相关）的候选样本。
• 在每次SGD步骤中动态更新采样分布，结合模型参数的当前状态，以优先选择信息量丰富的负样本。
• 该方法将多维嵌入特征（语义与句法）整合到采样过程中，超越了一维流行度得分的限制。
• 该算法在每次更新中保持摊销O(d)的时间复杂度，其中d为嵌入维度，与单次内积运算的成本相当。
• 该采样器被集成到skip-gram与CBOW架构中，替代原有的均匀或基于流行度的负采样方法。
• 从SGD优化的角度进行理论分析，证明更高的内积得分可产生更具信息量的梯度，从而提升收敛速度与准确率。

实验结果

研究问题

• RQ1 为何基于流行度的负采样方法尽管过度采样可能无关紧要的词语，仍能表现良好？
• RQ2 当使用不良负采样策略时，梯度消失问题在word2vec中的表现形式如何？
• RQ3 基于嵌入相似性（内积得分）的采样是否在收敛速度与准确率方面优于基于频率的采样？
• RQ4 将多维语义特征整合到负采样中是否能在不增加计算成本的前提下提升词表示质量？

主要发现

• 自适应采样器在词类比与词相似性任务上显著优于原始word2vec基线模型，SGA在准确率上优于SG与SGU。
• 在NewsIR数据集上，当k > 15时，该方法实现了收敛，表明其鲁棒性更强，且相比均匀采样过拟合程度更低。
• CBOWA与SGA模型始终优于其对应模型（CBOW与SG），证实了自适应采样在不同架构中的有效性。
• 自适应采样器的训练时间仅略有增加——例如，在NewsIR数据集上d=300时，从37.4分钟增至388.9分钟——证实了摊销O(d)的时间复杂度，且无显著计算开销。
• 该方法通过优先选择高分、语义相关的负样本，有效缓解了梯度消失问题，从而实现了更有效的参数更新。