[论文解读] Distant supervision for emotion detection using Facebook reactions

Chris W. Pool, Malvina Nissim|arXiv (Cornell University)|Nov 9, 2016

Sentiment Analysis and Opinion Mining参考文献 13被引用 13

一句话总结

本文提出一种利用Facebook点赞反应作为自动情绪标签的远程监督方法进行情绪检测，无需手工构建词典即可训练SVM分类器。在标准基准测试上取得了具有竞争力的性能，表明通过有策略地选择多样化的Facebook页面，可实现完全自动化的数据收集，从而有效进行情绪分类，并具备通过页面选择实现领域自适应的潜力。

ABSTRACT

We exploit the Facebook reaction feature in a distant supervised fashion to train a support vector machine classifier for emotion detection, using several feature combinations and combining different Facebook pages. We test our models on existing benchmarks for emotion detection and show that employing only information that is derived completely automatically, thus without relying on any handcrafted lexicon as it's usually done, we can achieve competitive results. The results also show that there is large room for improvement, especially by gearing the collection of Facebook pages, with a view to the target domain.

研究动机与目标

• 探索将Facebook点赞反应作为远程监督信号用于情绪检测，避免依赖手工构建的情绪词典。
• 评估是否可通过从公共Facebook页面完全自动收集数据，实现具有竞争力的情绪分类性能。
• 研究Facebook页面的选择如何影响模型性能，并实现内在的领域自适应。
• 评估将连续词嵌入与基于点赞反应的标签结合在情绪检测中的有效性。
• 识别情绪检测中的关键挑战，如标签模糊性和领域差异，并提出改进方案。

提出的方法

• 通过Facebook API从多样化的公共页面收集了Facebook帖子及其点赞数量（如、爱、哈哈、哇、悲伤、生气）。
• 将点赞数量用作情绪类别的代理标签，将出现频率最高的点赞类型视为该帖子的目标情绪。
• 使用多种特征组合（包括词袋、N-gram和预训练词嵌入GloVe）训练支持向量机（SVM）分类器。
• 在标准情绪检测基准数据集（ISEAR、Affective Text和Fairy Tales）上训练并评估了多个模型。
• 通过在开发集上的性能和标签分布选择Facebook页面以优化模型性能，并进一步探索了词汇重叠度和帖子内容质量等标准。
• 将方法扩展至多标签情绪预测，以反映情绪反应的主观性和模糊性。

实验结果

研究问题

• RQ1 Facebook点赞能否作为自动情绪检测的可靠远程监督信号？
• RQ2 在不同Facebook页面上训练时性能如何变化？这种页面选择能否实现领域自适应？
• RQ3 完全自动、无需词典的模型在标准情绪检测基准上能达到多大程度的竞争力？
• RQ4 当与基于点赞反应的标签结合时，连续词嵌入在提升情绪检测性能方面起到什么作用？
• RQ5 如何通过帖子选择标准（如长度、内容类型）和情绪强度度量来提升模型性能？

主要发现

• 所提出的方法在无需任何手工构建词典的情况下，在标准基准上取得了具有竞争力的性能，证明了完全自动化情绪检测的可行性。
• ISE-M模型在所有数据集上整体表现最佳，尤其在检测喜悦、悲伤和惊讶方面表现突出。
• 在ISEAR数据集上，模型在检测愤怒情绪方面达到了最高精确率，优于现有方法。
• 不同情绪类型和数据集之间的性能差异显著，表明情绪检测仍具挑战性，且对领域和数据分布高度敏感。
• 模型设计与特定数据集上的性能之间无明显相关性，表明仅靠模型选择不足以获得最佳结果。
• Facebook页面的选择显著影响性能，凸显了通过页面选择实现内在领域自适应的潜力。