[论文解读] Learning Meta-Embeddings by Using Ensembles of Embedding Sets

Wenpeng Yin, Hinrich Schütze|arXiv (Cornell University)|Aug 18, 2015

Text and Document Classification Technologies被引用 7

一句话总结

本文提出一种集成方法，通过结合多个预训练词嵌入集来学习元嵌入（meta-embeddings），采用的技术包括拼接（CONC）、奇异值分解（SVD）以及一种新颖的1toN+方法，该方法联合学习元嵌入和未登录词（OOV）表示。主要贡献在于，元嵌入在词相似度、类比和词性标注任务中优于单一嵌入集，同时显著提升了词汇覆盖率。

ABSTRACT

Word embeddings -- distributed representations of words -- in deep learning are beneficial for many tasks in natural language processing (NLP). However, different embedding sets vary greatly in quality and characteristics of the captured semantics. Instead of relying on a more advanced algorithm for embedding learning, this paper proposes an ensemble approach of combining different public embedding sets with the aim of learning meta-embeddings. Experiments on word similarity and analogy tasks and on part-of-speech tagging show better performance of meta-embeddings compared to individual embedding sets. One advantage of meta-embeddings is the increased vocabulary coverage. We will release our meta-embeddings publicly.

研究动机与目标

• 解决不同预训练词嵌入集之间在质量与语义特性上的差异问题。
• 开发一种结合多个嵌入集的方法，以生成更鲁棒、通用的词表示。
• 同时提升性能并扩大词汇覆盖率，特别是针对未登录词（OOV）的处理。
• 为从零开始重新训练嵌入模型提供一种简单、高效的替代方案，尤其在语料不可用时。

提出的方法

• CONC将来自多个嵌入集的词向量拼接为每个词的单一高维向量。
• SVD对拼接后的向量进行降维，生成低维元嵌入。
• 1toN为每个词学习一个共享的元嵌入，并微调其以预测各个嵌入集的表示，从而捕捉互补语义。
• 1toN+通过一步优化联合学习元嵌入和OOV嵌入，扩展了1toN方法，实现完整词汇覆盖。
• MutualLearning用作OOV处理的基线方法，并与1toN+及其他集成方法进行比较。
• 在标准基准上，使用词相似度、词类比和词性标注任务对集成方法进行评估。

实验结果

研究问题

• RQ1 通过集成方法结合多个预训练词嵌入集，能否获得比单一嵌入集表现更优的元嵌入？
• RQ2 集成方法在多大程度上提升了词汇覆盖率，特别是对未登录词（OOV）的覆盖？
• RQ3 在不同自然语言处理任务中，不同集成策略（CONC、SVD、1toN、1toN+）在性能与鲁棒性方面如何比较？
• RQ4 1toN+方法是否能有效同时学习元嵌入和OOV表示，优于其他OOV处理技术？

主要发现

• 通过SVD、1toN和1toN+学习的元嵌入在词相似度和类比任务中优于单一嵌入集，其中1toN+在整体表现上最佳。
• 在词类比任务中，CONC-ml、SVD-ml和1toN-ml在语义类比上的得分分别为88.1、87.3和88.2，均超过GloVe的81.4。
• 1toN+方法在OOV处理方面表现与MutualLearning相当，且在HLBL、Huang和CW嵌入的所有指标上均略胜一筹。
• 在词性标注任务中，元嵌入在大多数领域中优于单一嵌入集，而SVD仅在12个案例中的3个中表现更优，提升有限。
• 性能在不同嵌入维度下表现稳健，峰值结果出现在d ∈ [100, 500]区间，且当d ≥ 150时性能稳定。