[论文解读] Controlled Experiments for Word Embeddings

Benjamin J. Wilson, Adriaan M. J. Schakel|arXiv (Cornell University)|Oct 9, 2015

Topic Modeling参考文献 11被引用 13

一句话总结

本文通过修改训练语料，开展受控实验，以分离词频与共现噪声对word2vec CBOW词向量特性的影响。通过插入可调节频率与噪声水平的伪词，作者证明词向量长度与这两个因素均呈线性关系，且纯噪声的词向量虽小但非零，揭示了特征空间中一个非原点的特殊点。

ABSTRACT

An experimental approach to studying the properties of word embeddings is proposed. Controlled experiments, achieved through modifications of the training corpus, permit the demonstration of direct relations between word properties and word vector direction and length. The approach is demonstrated using the word2vec CBOW model with experiments that independently vary word frequency and word co-occurrence noise. The experiments reveal that word vector length depends more or less linearly on both word frequency and the level of noise in the co-occurrence distribution of the word. The coefficients of linearity depend upon the word. The special point in feature space, defined by the (artificial) word with pure noise in its co-occurrence distribution, is found to be small but non-zero.

研究动机与目标

• 分离词频与共现噪声对词嵌入中词向量特性独立影响的机制。
• 研究词向量长度与方向是否以受控且可度量的方式系统性地受这两个因素影响。
• 确定是否存在一个‘纯噪声’词向量，以及其是否位于特征空间的原点或非零点。
• 通过语料级修改，为任何词嵌入模型提供可推广的实验框架，而无需访问模型内部结构。

提出的方法

• 在训练语料中插入具有可控频率与不同共现噪声水平的伪词。
• 在保持伪词共现分布不变的前提下，改变其频率以隔离频率效应。
• 保持频率恒定，逐步增加共现分布中的噪声比例，以隔离噪声效应。
• 在修改后的语料上训练word2vec CBOW模型，并从第一层（syn0）与第二层（syn1neg）的突触中提取词向量。
• 使用余弦相似度与向量长度分析，研究频率与噪声对方向与幅值变化的影响。
• 将伪词向量与代表纯背景噪声的‘VOID’词进行比较，以识别特征空间中的特殊点。

实验结果

研究问题

• RQ1 当共现分布保持不变时，词向量长度如何随词频变化？
• RQ2 当频率保持不变时，词向量长度如何随共现噪声增加而变化？
• RQ3 共现分布中仅含纯噪声的词（VOID）的向量是否位于特征空间的原点？
• RQ4 随着共现噪声增加，词向量方向如何平滑变化？
• RQ5 纯噪声词（VOID）的向量是否可被解释为特征空间中一个稳定且非零的吸引子？

主要发现

• 当共现噪声保持不变时，词向量长度与词频近似呈线性关系。
• 当频率保持不变时，词向量长度随共现噪声增加而线性减小，且线性系数取决于具体词语。
• 纯噪声伪词（VOID）的向量虽小但非零，表明特征空间中存在一个非原点的特殊点。
• 随着共现噪声增加，词向量方向从原始词向量平滑地插值至与其几乎垂直的方向。
• 纯噪声词（VOID）的向量作为具有递增噪声的伪词的共同吸引子，尽管由于VOID完整上下文采样不足，收敛程度有限。
• 第一突触层（syn0）中的向量长度与频率及噪声的线性关系强于第二层（syn1neg）。