[论文解读] Incremental Skip-gram Model with Negative Sampling

Nobuhiro Kaji, Hayato Kobayashi|arXiv (Cornell University)|Apr 13, 2017

Topic Modeling参考文献 18被引用 12

一句话总结

本文提出了一种带有负采样（SGNS）的跳字模型的增量训练方法，可在新数据到达时实现高效、单次遍历的词嵌入更新。理论分析表明，在温和条件下，该增量方法收敛至与批量SGNS相同的最优解，实验结果证实其在显著节省训练时间（相比从头重新训练最高达10倍）的同时，仍能保持相近的嵌入质量。

ABSTRACT

This paper explores an incremental training strategy for the skip-gram model with negative sampling (SGNS) from both empirical and theoretical perspectives. Existing methods of neural word embeddings, including SGNS, are multi-pass algorithms and thus cannot perform incremental model update. To address this problem, we present a simple incremental extension of SGNS and provide a thorough theoretical analysis to demonstrate its validity. Empirical experiments demonstrated the correctness of the theoretical analysis as well as the practical usefulness of the incremental algorithm.

研究动机与目标

• 为解决现有神经网络词嵌入方法（包括SGNS）的局限性，这些方法需要对训练数据进行多次遍历，且无法执行增量更新。
• 开发一种理论严谨且实际高效的SGNS增量扩展方法，避免在新数据到达时进行昂贵的重新训练。
• 实现实时或近实时的模型更新，以应对新闻或社交媒体等动态演变的文本数据，而无需重新处理历史数据。
• 支持动态词汇表扩展，包括新出现的词汇，且不受固定词汇表的限制。
• 为现有库（如Gensim）中常见的启发式增量方法提供一个理论基础扎实的替代方案。

提出的方法

• 提出增量SGNS，一种单次遍历训练算法，可顺序处理新数据，无需预先计算噪声分布。
• 基于Misra-Gries算法构建动态词汇表机制，以在保持固定大小的同时保留高频词。
• 采用自适应单次分布表进行负采样，随新词的加入而逐步更新。
• 使用基于Sigmoid的损失函数，结合随机梯度下降（SGD）优化目标-上下文对及负样本的词嵌入。
• 引入一种技术，在增量更新过程中动态维护噪声分布近似，避免完全重新计算。
• 实现高效的存储结构，以支持在线训练过程中快速的词查找与嵌入更新。

实验结果

研究问题

• RQ1 在温和假设下，SGNS的增量训练策略是否能收敛至与原始批量SGNS相同的最优解？
• RQ2 在标准基准数据集上，增量学习得到的词嵌入质量与批量训练相比如何？
• RQ3 当新增数据时，增量SGNS相比完全重新训练可将训练时间减少多少？
• RQ4 通过Misra-Gries算法实现的动态词汇表控制，在控制内存使用的同时，对嵌入质量的保持效果如何？
• RQ5 当处理初始训练数据中未出现的新词时，该增量方法是否仍保持稳定与准确？

主要发现

• 理论分析证实，在温和假设下，随着训练数据规模趋于无穷，增量SGNS的最优解收敛至原始批量SGNS的解。
• 实证结果表明，增量SGNS在五个基准数据集上的词相似度与类比任务表现与批量SGNS相当，仅存在微小且统计上不显著的差异。
• 在更新新数据时，与使用批量方法重新训练相比，增量SGNS将更新时间减少了最多10倍；与w2v重新训练相比，减少了7.3倍。
• 通过Misra-Gries算法实现的动态词汇表控制有效限制了内存使用，在词汇表大小被限制在10万或15万词时，仍能保持高性能。
• 该增量方法通过动态扩展词汇表，成功处理了新出现的词汇，而Gensim等库中的固定词汇表实现则无法做到这一点。
• 自适应单次分布表与增量噪声分布近似技术，使负采样无需完整数据扫描即可高效执行，支持真正的在线学习。