[论文解读] Frustratingly Easy Sentiment Analysis of Text Streams: Generating High-Quality Emotion Arcs Using Emotion Lexicons

Daniela Teodorescu, Saif M. Mohammad|arXiv (Cornell University)|Oct 13, 2022

Sentiment Analysis and Opinion Mining被引用 6

一句话总结

本文提出了一种简单但极为有效的方法，通过情感词典从文本流中生成高质量的情感弧线。尽管实例级情感检测性能较差，但聚合后的词典方法在仅数百个实例的分箱大小下，与人工标注的黄金标准情感弧线实现了近乎完美的相关性。该方法在可解释性、成本和环境影响方面优于复杂的机器学习模型，同时在多种数据集和情感维度上保持了强劲的性能表现。

ABSTRACT

Automatically generated emotion arcs -- that capture how an individual or a population feels over time -- are widely used in industry and research. However, there is little work on evaluating the generated arcs. This is in part due to the difficulty of establishing the true (gold) emotion arc. Our work, for the first time, systematically and quantitatively evaluates automatically generated emotion arcs. We also compare two common ways of generating emotion arcs: Machine-Learning (ML) models and Lexicon-Only (LexO) methods. Using a number of diverse datasets, we systematically study the relationship between the quality of an emotion lexicon and the quality of the emotion arc that can be generated with it. We also study the relationship between the quality of an instance-level emotion detection system (say from an ML model) and the quality of emotion arcs that can be generated with it. We show that despite being markedly poor at instance level, LexO methods are highly accurate at generating emotion arcs by aggregating information from hundreds of instances. This has wide-spread implications for commercial development, as well as research in psychology, public health, digital humanities, etc. that values simple interpretable methods and disprefers the need for domain-specific training data, programming expertise, and high-carbon-footprint models.

研究动机与目标

• 系统且定量地评估自动生成的情感弧线，该任务此前因缺乏黄金标准基准而研究不足。
• 比较机器学习（ML）与仅使用词典（LexO）方法在从文本流生成情感弧线方面的性能表现。
• 探究情感词典质量与生成情感弧线准确率之间的关系。
• 评估实例级情感检测准确率在大规模下如何转化为情感弧线质量。
• 识别最优的聚合策略（分箱大小）和词典使用模式，以最大化情感弧线的保真度。

提出的方法

• 本研究使用了多种具有时间顺序的文本实例和预定义情感维度（如效价、愤怒、焦虑）的多样化数据集。
• 对于仅使用词典（LexO）的方法，使用情感词典对词语进行标注，并将时间步长的情感得分计算为每个分箱内情感词的平均值或占比。
• 对于机器学习（ML）方法，使用有监督模型对整个句子进行标注，分箱级别的得分则计算为每个时间步长内情感标注句子的平均值或占比。
• 通过将得分在固定大小的分箱中聚合（例如200个词、100个句子，或按日/月时间窗口）来生成情感弧线，通过调整分箱大小以评估粒度的影响。
• 使用一个Oracle系统模拟不同水平的实例级准确率，通过预设准确率生成情感标签，以隔离标注质量对弧线性能的影响。
• 将生成的情感弧线与人工标注数据的黄金标准弧线之间的相关性作为所有实验的主要评估指标。

实验结果

研究问题

• RQ1 在多种数据集和情感维度下，ML与LexO方法在情感弧线生成方面的准确率如何？
• RQ2 ML模型的性能提升是否足以证明其在可访问性、可解释性、财务支出和碳足迹方面的更高成本是合理的？
• RQ3 如何最优地使用情感词典——包括粒度、未登录词处理和阈值设定——以生成高质量的情感弧线？
• RQ4 情感弧线质量如何随分箱大小（即每个时间步长聚合的实例数量）而变化？
• RQ5 现有情感词典在生成情感弧线方面的表现如何？是否存在某些情感更难被准确追踪？

主要发现

• 当分箱大小达到200–300个实例时，仅使用词典（LexO）的方法与黄金标准情感弧线的相关性接近完美（r ≈ 1.0），尽管其在实例级情感检测性能较差。
• 即使仅具有60%的实例级准确率，Oracle系统在分箱大小为200–300时也能实现高度相关性（r ≈ 1.0），表明聚合能显著缓解标注噪声的影响。
• 最先进的深度神经网络和基于Transformer的模型在分箱大小为200–300时，生成的情感弧线也具有近乎完美的相关性（r ≈ 1.0），但需要大量计算和环境资源。
• 情感弧线的性能在多个数据集和情感维度（如效价、愤怒、焦虑）上均表现稳健，且在中等分箱大小下保持一致的高相关性。
• 本研究证明，通过简单、可解释、低成本且低碳足迹的基于词典的方法，可以生成高质量的情感弧线，使其成为心理学、数字人文和公共卫生领域研究人员的理想选择。
• 通过聚合可显著提升情感弧线质量，且在分箱大小超过数百个实例后，增益极小，表明细粒度分箱几乎无益处。