[论文解读] Enhancing the LexVec Distributed Word Representation Model Using Positional Contexts and External Memory

Alexandre Salle, Marco Idiart+1 more|arXiv (Cornell University)|Jun 3, 2016

Topic Modeling参考文献 17被引用 16

一句话总结

该论文通过整合位置上下文提升LexVec词嵌入模型，以改善句法类比性能，并利用外部内存消除对主内存中PPMI矩阵的存储需求。所提方法在句法类比任务上达到最先进性能，并有效近似标准训练过程，支持在大规模语料上进行可扩展训练。

ABSTRACT

In this paper we take a state-of-the-art model for distributed word representation that explicitly factorizes the positive pointwise mutual information (PPMI) matrix using window sampling and negative sampling and address two of its shortcomings. We improve syntactic performance by using positional contexts, and solve the need to store the PPMI matrix in memory by working on aggregate data in external memory. The effectiveness of both modifications is shown using word similarity and analogy tasks.

研究动机与目标

• 通过引入捕捉目标词相对位置的上下文信息，提升LexVec在句法类比任务上的性能。
• 通过使用外部内存替代主内存存储PPMI矩阵，解决LexVec中的内存瓶颈问题。
• 证明外部内存实现能够紧密近似标准LexVec训练，同时支持网络规模语料的处理。
• 在标准词相似度与类比基准上评估增强后的模型，以验证性能提升。
• 通过聚合数据处理解耦PPMI矩阵访问与主内存，为未来大规模语料训练提供支持。

提出的方法

• 通过将上下文表示扩展为包含相对于目标词的位置信息，引入位置上下文，将上下文嵌入维度提升至 $2 \times \text{win} \times |V| \times d$。
• 修改负采样策略，使其基于上下文频率 $P_n(c^i) \propto M_{*c^i}^\alpha$ 进行采样，其中 $\alpha = 0.75$，以保持与原始WSNS目标的一致性。
• 将上下文向量聚合为每个词的单一位置上下文嵌入 $\tilde{W}^{\text{pos}}$，以实现与词嵌入 $W$ 的兼容性。
• 实现两种外部内存变体：SI（流式顺序）和MI（手动打乱顺序），以在无需随机访问PPMI矩阵的情况下近似窗口采样与负采样。
• 使用随机梯度下降最小化联合损失函数 $L = \sum_{(w,c)} \#(w,c)L_{wc} + \sum_w \#(w)L_w$，其中 $L_{wc}$ 与 $L_w$ 通过PPMI与负采样定义。
• 通过将上下文频率的幂次提升至0.75（如先前工作所推荐），对上下文分布进行平滑处理，以提升稳定性和性能。

实验结果

研究问题

• RQ1 在LexVec中引入位置上下文是否能显著提升其在句法类比任务上的性能？
• RQ2 使用外部内存存储聚合数据而非完整PPMI矩阵，是否能为标准LexVec训练提供可行的近似？
• RQ3 外部内存实现中词-上下文对的排序方式如何影响模型性能，相较于标准训练？
• RQ4 增强后的LexVec模型是否能在词相似度与句法类比基准上均达到最先进性能？
• RQ5 SI型外部内存实现能在多大程度上保持标准LexVec的训练动态？

主要发现

• 引入位置上下文显著提升了LexVec在句法类比任务上的性能，在Google句法（GSyn）数据集上达到最高准确率。
• 结合位置上下文的LexVec在GSyn基准上优于GloVe与SGNS，展现出句法类比任务的最先进性能。
• 外部内存实现中的SI变体与标准LexVec训练的性能差距极小，表明损失函数近似效果良好。
• MI变体的性能差距大于SI，表明在训练过程中保持语料的自然顺序对最优性能至关重要。
• 在词相似度任务中，结合词嵌入与上下文嵌入（$W + \tilde{W}^{\text{pos}}$）的性能略优于仅使用 $W$，但 $W$ 单独使用在句法类比任务中表现最佳。
• 结果证实，位置上下文能有效捕捉句法依赖关系，且外部内存可实现无质量损失的可扩展训练。