[论文解读] Language Models with Pre-Trained (GloVe) Word Embeddings

Victor Makarenkov, Bracha Shapira+1 more|arXiv (Cornell University)|Oct 12, 2016

Topic Modeling参考文献 6被引用 5

一句话总结

本文提出一种使用预训练GloVe词嵌入的循环神经网络（RNN）语言模型，特别采用GRU单元进行序列建模。与随机基线相比，其在下一个词预测任务中的余弦距离误差显著降低，训练时间少于2.5分钟，推理时间少于1秒，证明了将GloVe嵌入与RNN结合用于语言建模任务的有效性。

ABSTRACT

In this work we implement a training of a Language Model (LM), using Recurrent Neural Network (RNN) and GloVe word embeddings, introduced by Pennigton et al. in [1]. The implementation is following the general idea of training RNNs for LM tasks presented in [2], but is rather using Gated Recurrent Unit (GRU) [3] for a memory cell, and not the more commonly used LSTM [4].

研究动机与目标

• 使用RNN和预训练GloVe词嵌入实现语言模型，以提升序列预测性能。
• 使用余弦距离作为度量指标，在通用和领域特定的文本语料库上评估模型性能。
• 通过误差分布对比模型预测准确率与随机基线。
• 展示在仅使用少量标注数据并采用自动生成标签的监督式范式下，训练此类模型的可行性和高效性。
• 提供基于Keras和Theano/TensorFlow的可复现实现，供研究人员扩展和测试该方法。

提出的方法

• 模型使用来自420亿词语料库的300维和50维预训练GloVe词嵌入，OOV（词汇表外）词初始化为随机向量。
• 基于GRU的RNN被训练以预测序列中下一个词向量，使用固定上下文窗口大小（默认为10）的先前词。
• 训练采用移位输入-输出方案，其中目标是将输入序列向后移动一个时间步，从而在无需外部标签的情况下实现监督学习。
• 损失函数为均方误差（MSE），使用RMSProp优化，并在隐藏层应用0.8的dropout正则化。
• 模型在70%的文本上进行训练，在30%的文本上进行评估，误差通过预测词向量与真实词向量之间的余弦距离进行测量。
• 还针对ICTIR-2015和SIGIR-2015会议论文集中的150万词语料训练了领域特定模型，以评估其在专业文本上的性能。

实验结果

研究问题

• RQ1 基于GRU的RNN能否有效利用预训练GloVe词嵌入学习预测下一个词向量？
• RQ2 在通用和领域特定文本中，模型的预测误差与随机基线相比如何？
• RQ3 隐藏单元数量（30 vs. 300）对训练时间和预测准确率有何影响？
• RQ4 在领域特定语料上进行微调对模型在下一个词预测任务中的性能有何影响？
• RQ5 该设置下的训练和推理具有怎样的计算效率特征？

主要发现

• 使用300个GRU单元的RNN模型在下一个词预测中的余弦距离误差显著低于随机基线，如图3所示。
• 使用300个隐藏单元训练模型耗时1298秒（约21.6分钟），而测试集上的推理仅耗时0.49秒。
• 在领域特定语料上，使用50个隐藏单元的模型表现更优，误差分布与随机预测明显分离（见图4）。
• 该领域特定模型仅用10秒完成训练，推理时间仅0.04秒，展现出在专业任务中的极高效率。
• 在维基百科“无政府主义”条目上使用30个隐藏单元训练的模型，经过300个周期后性能稳定，训练时间125秒。
• 使用预训练GloVe词嵌入显著提升了预测准确率，所有图表中误差分布的偏移均证实了这一点。