[论文解读] Breaking Sticks and Ambiguities with Adaptive Skip-gram

Sergey Bartunov, Dmitry Kondrashkin+2 more|arXiv (Cornell University)|Feb 25, 2015

Natural Language Processing Techniques参考文献 33被引用 120

一句话总结

本文提出自适应Skip-gram（AdaGram），一种Skip-gram模型的非参数贝叶斯扩展，可自动为每个词学习多个与上下文相关的词表示，从而在无需预定义词义数量的情况下解决词义歧义问题。该模型采用在线变分推断实现高效扩展，在词义聚类与网页搜索结果多样化任务中达到最先进性能。

ABSTRACT

Recently proposed Skip-gram model is a powerful method for learning high-dimensional word representations that capture rich semantic relationships between words. However, Skip-gram as well as most prior work on learning word representations does not take into account word ambiguity and maintain only single representation per word. Although a number of Skip-gram modifications were proposed to overcome this limitation and learn multi-prototype word representations, they either require a known number of word meanings or learn them using greedy heuristic approaches. In this paper we propose the Adaptive Skip-gram model which is a nonparametric Bayesian extension of Skip-gram capable to automatically learn the required number of representations for all words at desired semantic resolution. We derive efficient online variational learning algorithm for the model and empirically demonstrate its efficiency on word-sense induction task.

研究动机与目标

• 通过为每个词学习多个表示，解决标准Skip-gram模型在处理词义歧义方面的局限性。
• 克服现有多种原型模型中需预定义词义数量的限制。
• 开发一种可扩展的在线学习算法，通过单一超参数实现对语义粒度的自适应调整。
• 在词义聚类与真实世界网页搜索结果多样化任务上评估模型，以证明其实际应用价值。

提出的方法

• 在词原型上引入狄利克雷过程先验，扩展Skip-gram模型，实现词义的非参数化学习。
• 采用基于collapsed Gibbs采样法的在线变分推断算法，使模型能够高效处理流式文本数据。
• 引入分辨率参数α，用于控制每个词的原型数量，从而实现语义聚类的自动发现。
• 使用词表示混合模型进行上下文预测，其中每个上下文词均从特定上下文的原型中预测得出。
• 推导出一种高效的在线学习过程，实现表示的增量更新，同时保持原始Skip-gram模型的计算速度。
• 将每个词的原型数量截断至固定水平T=30，以确保计算效率，且在α ∈ [0.1, 0.2]范围内不影响模型性能。

实验结果

研究问题

• RQ1 非参数贝叶斯扩展的Skip-gram模型能否在无需预先知晓词义的情况下，自动学习到合适的词原型数量？
• RQ2 分辨率参数α如何影响所学词表示的质量与可解释性？
• RQ3 所提模型是否在词义聚类基准上优于现有的参数化与非参数化方法？
• RQ4 该模型能否通过更好地捕捉词义歧义，提升真实世界应用（如网页搜索结果多样化）的性能？

主要发现

• AdaGram在WWSI数据集上达到最高的调整兰德指数（ARI），显著优于MSSG与NP-MSSG，在α=0.15时达到峰值ARI 0.48。
• MSSG的非参数变体（NP-MSSG）甚至在性能上劣于具有三个原型的固定原型MSSG，表明其在发现有意义词义方面存在局限。
• AdaGram在SemEval-2013任务11的网页搜索结果多样化任务中表现更优，其子主题召回率@K与精确率@r曲线始终高于对比模型。
• 由于采用了可扩展的在线变分推断算法，模型保持了高效率，训练速度仅略慢于原始Skip-gram模型。
• 当α取值在0.1至0.2之间时，性能达到最优，且T=30足以捕获所有发现的原型。
• 定性分析表明，所学词表示对应于明确的语义含义，例如'apple'在不同上下文中分别表示水果或公司。