[论文解读] Modeling Order in Neural Word Embeddings at Scale

Andrew Trask, David Gilmore+1 more|arXiv (Cornell University)|Jun 8, 2015

Topic Modeling参考文献 28被引用 30

一句话总结

该论文提出DIEM（方向性与插值嵌入模型），一种神经语言模型，通过联合编码分布式词嵌入中的词级和字符级顺序，实现更优的表示。通过整合方向性上下文窗口与字符级序列建模，DIEM在句法类比任务中将误差率降低58%（准确率达85.8%），优于先前最先进模型，并可在3台多核CPU上 overnight 训练出1600亿参数的模型。

ABSTRACT

Natural Language Processing (NLP) systems commonly leverage bag-of-words co-occurrence techniques to capture semantic and syntactic word relationships. The resulting word-level distributed representations often ignore morphological information, though character-level embeddings have proven valuable to NLP tasks. We propose a new neural language model incorporating both word order and character order in its embedding. The model produces several vector spaces with meaningful substructure, as evidenced by its performance of 85.8% on a recent word-analogy task, exceeding best published syntactic word-analogy scores by a 58% error margin. Furthermore, the model includes several parallel training methods, most notably allowing a skip-gram network with 160 billion parameters to be trained overnight on 3 multi-core CPUs, 14x larger than the previous largest neural network.

研究动机与目标

• 通过显式建模词与字符顺序，改进神经词嵌入，而传统模型常忽略这一点。
• 解决词袋模型与标准Word2Vec方法的局限性，后者无法捕捉词形变化与序列结构。
• 开发一种可扩展的训练框架，能够在标准CPU硬件上处理极大规模神经网络（高达1600亿参数）。
• 评估顺序建模对句法与语义类比任务的影响，特别是对屈折与语法关系的捕捉能力。
• 证明结合词级与字符级表示可显著提升基准类比数据集上的性能。

提出的方法

• DIEM使用方向性上下文窗口，保留序列中词与字符的顺序，不同于标准skip-gram或CBOW模型将上下文视为无序。
• 引入方向性模型，基于词与字符在上下文窗口中的相对位置计算向量表示，增强对句法结构的敏感性。
• 将来自连续词袋（CBOW）或skip-gram框架的词级嵌入，与通过独立循环或卷积网络生成的字符级嵌入相结合。
• 采用负采样与Sigmoid激活函数优化目标词预测，同时在训练目标中保留方向信息。
• 最终嵌入通过拼接词级与字符级表示形成，并通过联合目标函数进行微调。
• 提出一种新颖的插值策略，通过求和top-k结果的归一化余弦相似度，组合多个模型（如CLOW与DIEM），有效模拟拼接操作而无需完整微调。

实验结果

研究问题

• RQ1 在神经词嵌入中同时建模词级与字符级顺序，能否提升句法与语义类比任务的性能？
• RQ2 在词与字符序列中保留方向性上下文，如何影响学习到的向量表示的质量？
• RQ3 能否通过可扩展、可并行化的框架，在标准CPU硬件上高效训练极大规模神经网络（如1600亿参数）？
• RQ4 字符级顺序的整合是否显著提升对屈折形态与语法关系的建模能力？
• RQ5 在使用方向性与窗口化上下文模型时，模型规模、训练速度与性能之间的权衡如何？

主要发现

• DIEM在Google类比数据集上达到85.8%的准确率，相比最佳已发表句法结果（Pennington et al., 2014）误差率降低58%。
• 该模型在综合语义与句法评估中优于所有先前最先进系统（包括GloVe、Word2Vec与PENN模型），整体得分提升40%。
• 1600亿参数的skip-gram模型成功在3台多核CPU上 overnight 训练完成，创下在消费级硬件上训练最大神经网络的新纪录。
• 采用500维向量的方向性模型在句法任务上达到81.53%，显著优于CLOW基线模型的73.45%。
• 通过余弦相似度插值组合CLOW与DIEM嵌入，获得76.49%的综合得分，超越了语义与句法类别中所有已发表的最佳结果。
• 模型表明，字符级顺序建模显著提升对屈折任务（如过去时、复数、比较级）的性能，特定子任务的性能提升最高达40%。