[论文解读] emoji2vec: Learning Emoji Representations from their Description

Ben Eisner, Tim Rocktäschel+3 more|arXiv (Cornell University)|Sep 27, 2016

Sentiment Analysis and Opinion Mining参考文献 13被引用 90

一句话总结

本文提出 emoji2vec，一种通过在 Unicode 标准中 emoji 的描述性文本上进行训练，为全部 1,661 个 Unicode 表情符号学习密集向量表示的方法。通过使用预训练 word2vec 向量对描述进行简单的词袋平均，emoji2vec 在 Twitter 情感分析任务中表现优于在 1 亿条推文上训练的 skip-gram 模型，尽管其使用数据量远少于后者，且未进行上下文依赖的训练。

ABSTRACT

Many current natural language processing applications for social media rely on representation learning and utilize pre-trained word embeddings. There currently exist several publicly-available, pre-trained sets of word embeddings, but they contain few or no emoji representations even as emoji usage in social media has increased. In this paper we release emoji2vec, pre-trained embeddings for all Unicode emoji which are learned from their description in the Unicode emoji standard. The resulting emoji embeddings can be readily used in downstream social natural language processing applications alongside word2vec. We demonstrate, for the downstream task of sentiment analysis, that emoji embeddings learned from short descriptions outperforms a skip-gram model trained on a large collection of tweets, while avoiding the need for contexts in which emoji need to appear frequently in order to estimate a representation.

研究动机与目标

• 解决现有词嵌入资源（如 word2vec 和 GloVe）中缺乏预训练表情符号表示的问题。
• 创建适用于所有 Unicode 表情符号（包括低频符号）的稳健、通用的表情符号嵌入，而无需依赖大规模社交媒体语料库。
• 评估仅从描述性文本学习的表情符号表示是否能与从社交媒体中上下文学习的表示相媲美或超越。
• 通过可视化和类比任务探索表情符号嵌入所捕捉的语义结构。

提出的方法

• 该方法通过平均描述性短语中单词的预训练 300 维 word2vec 向量来训练表情符号嵌入（例如，U+1F602 的描述为“带着喜悦泪水的笑脸”）。
• 每个表情符号被映射到与 Google 新闻 word2vec 嵌入相同的 300 维空间，从而实现与现有 NLP 流水线的直接兼容。
• 训练数据由从 Unicode 表情符号标准中收集的 6,088 个描述组成，涵盖 1,661 个唯一表情符号。
• 该模型采用简单的词袋方法，对描述短语中的词向量求和，而不考虑词序或句法结构。
• 生成的 emoji2vec 嵌入以 gensim 及其他与 word2vec 兼容的库支持的格式发布。
• 未来计划将 Emojipedia 中的完整表情符号描述纳入，并使用循环神经网络以更好地编码描述性文本。

实验结果

研究问题

• RQ1 是否能够仅从简短的描述性文本中有效学习表情符号表示，而无需大规模社交媒体上下文？
• RQ2 在 Unicode 描述上训练的表情符号嵌入是否能捕捉到与在海量推文语料中学习到的语义关系相媲美甚至更优的语义关系？
• RQ3 emoji2vec 是否能在下游 NLP 任务（如情感分析）中提升性能，即使其训练数据量极少？
• RQ4 所学习的表情符号嵌入在多大程度上反映了已知的语义聚类（如人脸、旗帜、动物）？
• RQ5 在向量空间中，线性类比（例如，“男人”→“女人”在“笑脸”语境下）在表情符号嵌入中能多大程度被恢复？

主要发现

• emoji2vec 在 Twitter 情感分析任务中表现优于在 1 亿条推文上训练的 skip-gram 模型，证明了基于描述的学习方法在数据量远少于基线的情况下仍能取得更优结果。
• emoji 嵌入的 t-SNE 可视化揭示了有意义的语义聚类，如家庭、旗帜、动物和笑脸，表明模型捕捉到了直观的语义分组。
• 尽管方法简单，emoji2vec 模型仍成功学习了向量空间中的线性类比，正确答案通常出现在最近邻的前三位，尽管不总是排名第一。
• 该模型为全部 1,661 个 Unicode 表情符号（包括低频和稀有符号）提供了稳健的表示，而这些符号在基于上下文的模型中往往表示不佳。
• 嵌入与现有 NLP 工具兼容，可直接与 word2vec 嵌入一起用于下游应用。
• 该方法具有可扩展性和可扩展性，未来计划通过使用 Emojipedia 提供的更丰富描述以及通过 RNN 实现更复杂的序列编码来进一步改进。