[论文解读] Deconstructing and reconstructing word embedding algorithms

Edward Newell, Kian Kenyon-Dean+1 more|arXiv (Cornell University)|Nov 29, 2019

Topic Modeling参考文献 67被引用 7

一句话总结

本文剖析了主流词嵌入算法——Word2vec、GloVe 等——揭示出两个核心原则：(1) 通过学习向量-共向量点积来近似点互信息（PMI）；(2) 通过调节损失梯度以平衡弱信号与强信号。基于这些原则，作者提出了 Hilbert-MLE 算法，该算法在 17 个内在与外在 NLP 数据集上的表现与现有方法相当或更优。

ABSTRACT

Uncontextualized word embeddings are reliable feature representations of words used to obtain high quality results for various NLP applications. Given the historical success of word embeddings in NLP, we propose a retrospective on some of the most well-known word embedding algorithms. In this work, we deconstruct Word2vec, GloVe, and others, into a common form, unveiling some of the necessary and sufficient conditions required for making performant word embeddings. We find that each algorithm: (1) fits vector-covector dot products to approximate pointwise mutual information (PMI); and, (2) modulates the loss gradient to balance weak and strong signals. We demonstrate that these two algorithmic features are sufficient conditions to construct a novel word embedding algorithm, Hilbert-MLE. We find that its embeddings obtain equivalent or better performance against other algorithms across 17 intrinsic and extrinsic datasets.

研究动机与目标

• 为了对主流词嵌入算法（如 Word2vec 和 GloVe）进行理论性剖析，以揭示其共享的设计原则。
• 探究尽管架构与训练目标各不相同，为何非上下文相关的词嵌入仍能有效。
• 确定一组最小化的算法特征是否足以构建高性能的词嵌入模型。
• 证明向量-共向量点积可近似 PMI，且梯度调节可平衡在偏斜语料中的信号强度。
• 基于所识别的原则，开发并验证一种新型嵌入算法 Hilbert-MLE。

提出的方法

• 将 Word2vec（SGNS）、GloVe 及矩阵分解方法统一为一种共同的数学形式，以分离出共享的算法组件。
• 识别出两个关键原则：(1) 通过建模向量-共向量点积来近似语料中的点互信息（PMI）；(2) 通过梯度调节以平衡弱共现与强共现信号。
• 基于语料共现的多项分布的最大似然估计，推导出 Hilbert-MLE 的全局矩阵分解损失函数。
• 通过代数变换，将全局 Hilbert-MLE 目标函数转化为基于采样的局部形式，从而实现在大规模词汇表上的高效训练。
• 采用双线性参数化方式表示 PMI，使用学习得到的词向量与上下文向量，并引入调节后的梯度以稳定对罕见共现的训练。
• 通过在 17 个内在与外在 NLP 基准上的系统性评估，验证该框架，与 SGNS 和 GloVe 进行对比。

实验结果

研究问题

• RQ1 像 Word2vec 和 GloVe 这类多样化词嵌入模型的成功，其背后共有的算法特征是什么？
• RQ2 在仅使用 PMI 近似与梯度调节的前提下，词嵌入能在多大程度上被重建？
• RQ3 向量-向量相似性与向量-共向量相似性是否分别恢复了语义相似性与共现模式？
• RQ4 能否从最小化原则出发，推导出一种新型嵌入算法，并在多样化评估任务中超越已有基线？
• RQ5 共向量在捕捉 PMI 统计特征中扮演何种角色？它们如何被超越简单平均的方式加以利用？

主要发现

• 所有主流词嵌入算法均隐式学习向量-共向量点积，以近似语料中的点互信息（PMI）。
• 通过梯度调节以平衡弱信号与强信号，是各类算法共享的关键机制，使模型能在高度偏斜的共现分布上实现稳定学习。
• Hilbert-MLE 算法完全基于上述两个核心原则构建，在 17 个内在与外在 NLP 数据集上的表现与 SGNS 和 GloVe 相当或更优。
• 向量-向量点积可恢复语义相似性（如 'cat' ↔ 'kitten'），而向量-共向量点积可恢复共现模式（如 'cat' ↔ 'burglar' 在 'cat burglar' 中）。
• 结果表明，所识别的两个原则已足够生成高质量词嵌入，暗示以往模型中许多特有的组件实属冗余。
• 共向量并非仅仅是副产品，而是承载着与 PMI 相关的独特语言信息，当显式引入时，可提升下游任务性能。