[论文解读] Emotion Ratings: How Intensity, Annotation Confidence and Agreements are Entangled

Enrica Troiano, Sebastian Padó+1 more|arXiv (Cornell University)|Mar 2, 2021

Topic Modeling参考文献 22被引用 6

一句话总结

本研究探讨了文本情感分类中情感强度、标注置信度与标注者间一致性之间的相互作用。基于COCA的一个子集，标注者对句子的情感存在性、情感强度（1–3级）以及自我评估的置信度（1–3级）进行标注，结果表明置信度与情感强度及不一致性均存在强烈相关性，提示置信度可作为系统性标注不一致的诊断指标，且可能反映情感显著性感知，而非实际情感强度。

ABSTRACT

When humans judge the affective content of texts, they also implicitly assess the correctness of such judgment, that is, their confidence. We hypothesize that people's (in)confidence that they performed well in an annotation task leads to (dis)agreements among each other. If this is true, confidence may serve as a diagnostic tool for systematic differences in annotations. To probe our assumption, we conduct a study on a subset of the Corpus of Contemporary American English, in which we ask raters to distinguish neutral sentences from emotion-bearing ones, while scoring the confidence of their answers. Confidence turns out to approximate inter-annotator disagreements. Further, we find that confidence is correlated to emotion intensity: perceiving stronger affect in text prompts annotators to more certain classification performances. This insight is relevant for modelling studies of intensity, as it opens the question wether automatic regressors or classifiers actually predict intensity, or rather human's self-perceived confidence.

研究动机与目标

• 检验自我评估的标注置信度是否与情感分类中的标注者间不一致性相关。
• 探究感知的情感强度是否影响标注者对其判断的置信度。
• 评估置信度与强度是否共同解释情感标注中的系统性不一致。
• 评估置信度是否可作为识别不可靠或不一致标注的诊断工具。
• 探讨这些关系对自然语言处理中情感强度建模的启示。

提出的方法

• 标注者基于美国当代英语语料库（COCA）中的句子，在三个维度上进行评估：情感存在性（情感性 vs. 中性）、强度（1–3级李克特量表）以及自我评估置信度（1–3级李克特量表）。
• 标注者被指示基于个人感知判断情感，而非意图情感或认知解读。
• 数据收集在受控的实验室环境中进行，由三位具有计算情感分析经验的女性标注者完成。
• 本研究采用李克特量表测量强度与置信度，以支持对相关性与一致性模式的定量分析。
• 对完全一致的案例（情感、置信度、强度）进行了人工分析，以识别语言与体裁层面的模式。
• 统计分析考察了置信度、强度与标注者间不一致性之间的关系，包括跨标注一致性。

实验结果

研究问题

• RQ1 RQ1：关于情感存在的标注者间不一致性是否与标注者的自我评估置信度相关？
• RQ2 RQ2：情感强度判断与自我评估置信度是否相互关联？
• RQ3 RQ3：置信度与强度是否能共同解释系统性标注不一致？
• RQ4 RQ4：高置信度是否与高情感强度共现？是否存在反例？

主要发现

• 置信度与标注者间不一致性存在强烈相关性：置信度越低，不一致率越高。
• 情感强度与自我评估置信度显著相关——感知情感越强烈，标注时的置信度越高。
• 未发现任何高情感强度（3级）与低置信度（1或2级）配对的案例，表明高情感强度可稳定提升置信度。
• 在表达个人经历或直接情感状态的句子中，情感、置信度与强度三者完全一致的情况最为常见。
• 中性标签在新闻与事实类体裁中更常见，而情感标签在小说、博客与口语文本中更常见。
• 研究发现，置信度并非实际情感强度的可靠代理指标，因为部分高情感强度案例被低置信度标注，反之亦然，表明二者关系复杂。