[论文解读] Facebook Reaction-Based Emotion Classifier as Cue for Sarcasm Detection

Po Chen Kuo, Fernando H. Calderon Alvarado+1 more|arXiv (Cornell University)|May 4, 2018

Sentiment Analysis and Opinion Mining参考文献 15被引用 5

一句话总结

本文提出了一种半监督、多语言的情感检测方法，利用Facebook点赞反应与评论的重叠作为弱标签，随后评估反应中冲突情感是否可作为讽刺检测的线索。基于超过一百万条英文和中文评论，该方法取得了可接受的性能表现，证明仅依赖反应的情感信号即可有效指示讽刺，而无需外部知识或人工标注。

ABSTRACT

Online social media users react to content in them based on context. Emotions or mood play a significant part of these reactions, which has filled these platforms with opinionated content. Different approaches and applications to make better use of this data are continuously being developed. However, due to the nature of the data, the variety of platforms, and dynamic online user behavior, there are still many issues to be dealt with. It remains a challenge to properly obtain a reliable emotional status from a user prior to posting a comment. This work introduces a methodology that explores semi-supervised multilingual emotion detection based on the overlap of Facebook reactions and textual data. With the resulting emotion detection system we evaluate the possibility of using emotions and user behavior features for the task of sarcasm detection. More than 1 million English and Chinese comments from over 62,000 public Facebook pages posts have been collected and processed, conducted experiments show acceptable performance metrics.

研究动机与目标

• 开发一种利用Facebook点赞与评论重叠作为弱标签的自监督情感分类器。
• 探究通过点赞检测到的冲突情感是否可作为用户评论中讽刺的信号。
• 评估该方法在多语言环境下的有效性，特别是英文和中文场景。
• 通过利用平台原生用户行为，减少对人工标注或外部知识的依赖。
• 探索社交媒体上情感表达与讽刺模式在文化与语言上的差异。

提出的方法

• 该方法利用Facebook点赞点击与相关评论的交集，为情感分类创建模糊的远程监督标签。
• 采用半监督学习框架，利用点赞模式作为代理标签，在英文和中文评论数据上训练情感分类器。
• 从点赞分布（如：赞、喜欢、哇、难过、生气）中提取情感特征，以表示每条评论的情感基调。
• 通过分析评论中表达的情感与点赞所显示的主导情感之间的差异，评估讽刺检测效果。
• 系统使用词袋（BOW）、TF-IDF 和 PBLGA 特征进行文本表示，评估涵盖多个测试集和一致度水平。
• 性能通过标准NLP指标进行衡量：准确率、精确率、召回率、F1值，以及各类情感的宏平均分数。

实验结果

研究问题

• RQ1 Facebook点赞模式能否作为自监督训练情感分类器的可靠弱标签？
• RQ2 评论情感与相关点赞之间的情感冲突在多大程度上可指示讽刺？
• RQ3 所提出的方法在跨语言场景下的泛化能力如何，特别是英文与中文之间？
• RQ4 从点赞中提取的情感模式能否反映在线表达中的文化或语言差异？
• RQ5 缺乏人工标注或外部知识是否会影响讽刺检测的性能？

主要发现

• 情感分类器在英文和中文数据集上均取得了可接受的性能，宏F1分数分别为0.4096和0.3319，表明具备稳健的多语言能力。
• 该方法在不同一致度水平和测试集上均表现出一致的性能，表明模型具有良好的平衡性。
• 讽刺检测在英文中表现更优，宏F1达到0.4096，且使用基于情感的特征相比传统文本特征进一步提升了性能。
• 结果表明，基于点赞的情感信号可作为讽刺检测的有效线索，即使没有明确的讽刺标注亦可实现。
• 研究观察到英文用户使用“喜欢”点赞的频率高于中文用户，可能反映了情感表达在情境或文化上的差异。
• 该方法成功地直接从数据中学习情感模式，而无需依赖外部人工标注的情感标签或语言资源。