[论文解读] Enriching Word Vectors with Subword Information

Piotr Bojanowski, Édouard Grave+2 more|arXiv (Cornell University)|Jul 15, 2016

Topic Modeling参考文献 35被引用 438

一句话总结

引入一种子词感知的词嵌入模型，将单词表示为哈希字符n-gram向量之和，从而实现对未见词的表示并提高形态丰富语言的性能。

ABSTRACT

Continuous word representations, trained on large unlabeled corpora are useful for many natural language processing tasks. Popular models that learn such representations ignore the morphology of words, by assigning a distinct vector to each word. This is a limitation, especially for languages with large vocabularies and many rare words. In this paper, we propose a new approach based on the skipgram model, where each word is represented as a bag of character $n$-grams. A vector representation is associated to each character $n$-gram; words being represented as the sum of these representations. Our method is fast, allowing to train models on large corpora quickly and allows us to compute word representations for words that did not appear in the training data. We evaluate our word representations on nine different languages, both on word similarity and analogy tasks. By comparing to recently proposed morphological word representations, we show that our vectors achieve state-of-the-art performance on these tasks.

研究动机与目标

• 解决忽略单词形态学的传统词嵌入的局限性。
• 利用子词信息在单词之间共享参数，并更好地表示罕见/未见词。
• 在多语言和多任务上进行评估，以展示对形态丰富语言的好处。

提出的方法

• 扩展跳字模型（skip-gram）及负采样以结合子词信息。
• 将每个单词表示为带边界符号的字符n-gram集合，将它们的向量相加以形成单词表示。
• 为每个n-gram关联一个向量，并通过带负采样的随机梯度下降进行学习。
• 通过哈希将n-gram映射到固定向量集合，以限制内存。
• 在九种语言的大型维基百科语料上进行训练和评估，并通过求和n-gram向量来处理OOV。

实验结果

研究问题

• RQ1 在各语言中，结合字符n-gram子词信息是否能提升词相似性和类比任务的表现？
• RQ2 基于子词的词表示与形态学感知基线和先前的子词方法相比如何？
• RQ3 OOV词能否通过n-gram向量之和有效表示，这对下游任务有何影响？
• RQ4 训练数据规模和n-gram范围对性能的影响如何，尤其是对形态丰富的语言？

主要发现

• 子词增强向量（sisg）在大多数词相似性数据集上优于基线，并改善对OOV词的处理。
• 该方法在句法类比任务上表现强劲，并在德语、捷克语等形态丰富的语言上取得显著收益。
• 与基于形态的方法相比，简单的n-gram求和表示具有竞争力，且通常更优，尤其是对于有复合和丰富屈折的语言。
• 在训练数据有限时，表现仍然稳健，展示了对低资源环境的实际好处。
• 将n-gram范围扩展以包含更长的序列可以帮助类比的语义方面，但在不同语言间存在权衡。
• 语言模型实验表明，当初始化使用子词感知向量时困惑度降低，尤其在斯拉夫语言中。