[论文解读] Emoji Prediction: Extensions and Benchmarking

Weicheng Ma, Ruibo Liu+2 more|arXiv (Cornell University)|Jul 14, 2020

Sentiment Analysis and Opinion Mining参考文献 9被引用 11

一句话总结

该论文将表情符号预测任务扩展为多标签、多分类任务，使用超越基本情绪的多样化表情符号，提出基于Transformer的模型，在从Twitter构建的新基准数据集上实现了最先进性能。BERT模型在准确率上相比之前工作提升27.21%至236.36%，F-1分数提升最高达346.79%，证明了深度上下文模型在通过表情符号理解交际意图方面的有效性。

ABSTRACT

Emojis are a succinct form of language which can express concrete meanings, emotions, and intentions. Emojis also carry signals that can be used to better understand communicative intent. They have become a ubiquitous part of our daily lives, making them an important part of understanding user-generated content. The emoji prediction task aims at predicting the proper set of emojis associated with a piece of text. Through emoji prediction, models can learn rich representations of the communicative intent of the written text. While existing research on the emoji prediction task focus on a small subset of emoji types closely related to certain emotions, this setting oversimplifies the task and wastes the expressive power of emojis. In this paper, we extend the existing setting of the emoji prediction task to include a richer set of emojis and to allow multi-label classification on the task. We propose novel models for multi-class and multi-label emoji prediction based on Transformer networks. We also construct multiple emoji prediction datasets from Twitter using heuristics. The BERT models achieve state-of-the-art performances on all our datasets under all the settings, with relative improvements of 27.21% to 236.36% in accuracy, 2.01% to 88.28% in top-5 accuracy and 65.19% to 346.79% in F-1 score, compared to the prior state-of-the-art. Our results demonstrate the efficacy of deep Transformer-based models on the emoji prediction task. We also release our datasets at https://github.com/hikari-NYU/Emoji_Prediction_Datasets_MMS for future researchers.

研究动机与目标

• 将表情符号预测任务从有限的情绪表情符号集合扩展，涵盖更广泛、更具表现力的表情符号。
• 实现多标签分类，允许每段文本预测多个表情符号，反映真实世界中的使用情况。
• 使用启发式方法从Twitter中构建多样化、大规模的基准数据集，用于训练和评估。
• 评估深度Transformer模型（特别是BERT）在扩展后的表情符号预测任务上的性能。

提出的方法

• 提出基于Transformer架构（包括BERT）的多标签表情符号预测框架，用于上下文表征学习。
• 设计多头注意力机制，以建模长距离依赖关系及文本中的表情符号相关性。
• 使用启发式方法挖掘Twitter数据，获取多样化表情符号-文本对，构建多个表情符号覆盖范围不同的基准数据集。
• 在构建的数据集上微调预训练的BERT模型，实现端到端的表情符号预测。
• 应用标签平滑和焦点损失，以解决多标签表情符号预测中的类别不平衡问题。
• 使用标准指标（准确率、top-5准确率、F-1分数）在所有设置下评估模型性能。

实验结果

研究问题

• RQ1 像BERT这样的深度Transformer模型能否在广泛的表情符号词汇下，有效泛化到多标签表情符号预测任务？
• RQ2 将表情符号预测任务扩展至非情绪类表情符号后，对模型性能和表征学习有何影响？
• RQ3 基于启发式的数据收集方法在多大程度上能生成可靠且多样化的表情符号预测训练数据？
• RQ4 基于BERT的模型在扩展的表情符号预测基准上相比之前最先进方法取得了哪些改进？
• RQ5 在多标签设置下，不同评估指标（准确率、F-1、top-5）在多大程度上反映了表情符号预测模型的性能？

主要发现

• BERT模型在所有数据集和设置下，相比之前最先进模型，准确率相对提升27.21%至236.36%。
• top-5准确率相比之前工作提升2.01%至88.28%，表明候选表情符号的排序能力更好。
• F-1分数相比之前最佳结果提升65.19%至346.79%，证明了其在多标签预测任务上的优越性能。
• 所提出的包含多样化表情符号的多标签设置，显著提升了模型对交际意图的学习能力，优于单标签、仅限情绪的设置。
• 所发布的数据集为未来研究提供了稳健的基准，支持多样化且真实的表情符号预测任务。
• 结果证实，像BERT这样的深度上下文模型在捕捉表情符号-文本对中的细微多模态信号方面极为有效。