[论文解读] Learning Word Meta-Embeddings by Using Ensembles of Embedding Sets.

Wenpeng Yin, Hinrich Schütze|arXiv (Cornell University)|Aug 18, 2015

Topic Modeling参考文献 25被引用 23

一句话总结

本文提出通过集成多个公开的词嵌入集合来学习词元嵌入（meta-embeddings），利用加权平均方法结合其语义优势。该方法在词相似度、类比和词性标注任务上表现更优，相较于单一嵌入集合，其词汇覆盖范围更广且更具鲁棒性。

ABSTRACT

Word embeddings -- distributed representations of words -- in deep learning are beneficial for many tasks in natural language processing (NLP). However, different embedding sets vary greatly in quality and characteristics of the captured semantics. Instead of relying on a more advanced algorithm for embedding learning, this paper proposes an ensemble approach of combining different public embedding sets with the aim of learning meta-embeddings. Experiments on word similarity and analogy tasks and on part-of-speech tagging show better performance of meta-embeddings compared to individual embedding sets. One advantage of meta-embeddings is the increased vocabulary coverage. We will release our meta-embeddings publicly.

研究动机与目标

• 解决不同预训练词嵌入集合之间质量与语义特性差异的问题。
• 通过整合多个公开的嵌入集合而非依赖单一复杂模型，提升自然语言处理性能。
• 通过利用多样化来源的互补词表示，扩大词汇覆盖范围。
• 开发一种元嵌入方法，使其在标准自然语言处理基准测试中优于单一嵌入集合。

提出的方法

• 通过学习多个预训练词嵌入集合的加权组合来构建元嵌入。
• 采用线性组合策略，其中权重通过优化以最大化下游任务性能而得。
• 优化过程在词相似度和类比数据集上进行，以使元嵌入与人工标注的语义关系对齐。
• 通过在词相似度、类比和词性标注任务上的评估来验证方法的有效性。
• 通过聚合输入嵌入集合中任意一个包含的词汇来扩展词汇覆盖范围。
• 最终的元嵌入已公开发布，供社区使用。

实验结果

研究问题

• RQ1 将多个公开的词嵌入集合组合起来，是否能获得优于使用任意单一集合的性能？
• RQ2 在词相似度和类比任务上，集成元嵌入方法与单一嵌入集合相比表现如何？
• RQ3 与单一嵌入相比，元嵌入方法在多大程度上提升了词汇覆盖范围？
• RQ4 该元嵌入方法在如词性标注等不同自然语言处理任务上是否具有良好的泛化能力？

主要发现

• 在词相似度和类比基准任务上，元嵌入优于所有单一嵌入集合。
• 集成方法在词性标注任务上也实现了性能提升，证明其在自然语言处理任务中的泛化能力。
• 通过整合多个源嵌入集合中的词汇，元嵌入实现了更广的词汇覆盖范围。
• 该方法有效利用了来自多样化嵌入源的互补语义信息。