[论文解读] Are Emojis Predictable?

Francesco Barbieri, Miguel Ballesteros+1 more|arXiv (Cornell University)|Feb 23, 2017

Advanced Text Analysis Techniques参考文献 20被引用 16

一句话总结

本文提出了一种双向长短期记忆（BLSTM）神经网络模型，通过使用词级和字符级嵌入来预测推文最可能引发的emoji。该模型在emoji预测任务中优于传统基线模型和人类标注者，F1得分为0.65，高于人类的F1得分0.50，表明计算模型能够更准确地捕捉社交媒体文本中emoji使用的语义和上下文细微差别。

ABSTRACT

Emojis are ideograms which are naturally combined with plain text to visually complement or condense the meaning of a message. Despite being widely used in social media, their underlying semantics have received little attention from a Natural Language Processing standpoint. In this paper, we investigate the relation between words and emojis, studying the novel task of predicting which emojis are evoked by text-based tweet messages. We train several models based on Long Short-Term Memory networks (LSTMs) in this task. Our experimental results show that our neural model outperforms two baselines as well as humans solving the same task, suggesting that computational models are able to better capture the underlying semantics of emojis.

研究动机与目标

• 探究社交媒体文本内容与emoji使用之间的预测关系。
• 开发一种计算模型，能够预测与给定推文最可能相关的emoji。
• 评估神经网络是否能比人类标注者更好地泛化emoji语义。
• 探索使用深度学习建模上下文语境中emoji语义的可行性。

提出的方法

• 使用词嵌入和字符级表示对推文序列进行编码，训练一个双向LSTM（BLSTM）模型。
• 通过组合前向和后向LSTM隐藏状态，计算上下文感知的推文表示。
• 最终表示通过一个ReLU激活层后，计算目标emoji上的softmax概率分布。
• 使用交叉熵损失进行训练，以最小化真实emoji标签的负对数似然。
• 输出层使用学习得到的emoji嵌入和偏置项，从预定义集合中预测最可能的emoji。
• 在包含584,600条推文的数据集上进行评估，这些推文来自2015年10月至2016年5月美国推特流中频率最高的20个emoji之一。

实验结果

研究问题

• RQ1 神经序列模型能否以高于人类标注者的准确率预测推文最可能引发的emoji？
• RQ2 词级和字符级表示在emoji预测性能中分别起到什么作用？
• RQ3 人类对emoji解释的模糊程度如何？与模型预测相比有何差异？
• RQ4 哪些emoji对在人类和模型中都最容易混淆？其混淆的语境线索是什么？

主要发现

• 基于字符的BLSTM模型在预测前5个最常见emoji时，F1得分为0.65，优于人类标注者（F1得分为0.50）。
• 该模型在emoji预测准确率上优于词袋基线模型和语义向量基线模型。
• 人类标注者之间具有较高的一致性（73%），但仍存在系统性错误，尤其常将哭泣脸（�）误分类为大笑脸（�）。
• 该模型也常将哭泣脸（�）与大笑脸（�）混淆，可能由于两者具有相似的语言线索，如感叹号、'haha'或'omg'等词语。
• 对于大笑脸（�）的混淆率，模型低于人类，表明模型更能捕捉概率性和上下文线索。
• 人类过度预测了表情符号（�）（208次 vs. 实际出现100次），表明人类倾向于将其与积极或反讽表达关联，而这种偏差在模型中未被观察到。