[论文解读] EmoBank: Studying the Impact of Annotation Perspective and Representation Format on Dimensional Emotion Analysis

Sven Buechel, Udo Hahn|arXiv (Cornell University)|May 4, 2022

Sentiment Analysis and Opinion Mining被引用 9

一句话总结

EmoBank 是一个大规模、文体均衡的英语语料库，包含 10,000 个句子，从作者和读者两个视角对情感维度（情感价、唤醒度、支配度）进行标注，其中一部分句子还使用 Ekman 的基本情绪进行了额外标注。结果表明，从读者视角出发可获得更高的标注者间一致性与情感强度，并在维度情感与分类情感格式之间的映射任务中达到接近人类水平的性能。

ABSTRACT

We describe EmoBank, a corpus of 10k English sentences balancing multiple genres, which we annotated with dimensional emotion metadata in the Valence-Arousal-Dominance (VAD) representation format. EmoBank excels with a bi-perspectival and bi-representational design. On the one hand, we distinguish between writer's and reader's emotions, on the other hand, a subset of the corpus complements dimensional VAD annotations with categorical ones based on Basic Emotions. We find evidence for the supremacy of the reader's perspective in terms of IAA and rating intensity, and achieve close-to-human performance when mapping between dimensional and categorical formats.

研究动机与目标

• 为解决缺乏大规模、具有心理学依据的情感语料库，且这些语料库未能区分作者与读者情感视角的问题。
• 创建一个支持维度表示（VAD）与分类表示（基本情绪）的资源，以促进跨格式建模。
• 研究标注视角（作者 vs. 读者）与表示格式（维度 vs. 分类）如何影响标注质量与情感建模性能。
• 提供一个标准化、免费获取的语料库，以推动自然语言处理与计算语言学领域中细粒度情感语言分析的发展。

提出的方法

• 从多样化文体（如新闻、社交媒体、文学）中收集 10,000 个英语句子，以确保文体平衡与广泛覆盖。
• 对每个句子从两个不同视角标注三维 VAD 分数（情感价、唤醒度、支配度）：作者意图表达的情感与读者预期的情感反应。
• 对其中 2,000 个句子的子集额外标注了 Ekman 的六种基本情绪（如愤怒、恐惧、喜悦），以支持跨格式映射。
• 使用自我评定量表（SAM）作为标准化的 VAD 标注工具，确保一致性和心理学有效性。
• 实施标注者间一致性（IAA）分析，比较作者与读者视角之间的可靠性差异。
• 训练模型以实现 VAD 与分类情绪表示之间的映射，并与人类水平基准进行性能评估。

实验结果

研究问题

• RQ1 标注视角的选择（作者 vs. 读者）如何影响 VAD 标注中的标注者间一致性（IAA）与评分强度？
• RQ2 在标注数据的基础上，维度表示（VAD）与分类表示（基本情绪）之间在多大程度上可以实现可靠映射？
• RQ3 在语料库中同时包含作者与读者视角是否能提升情感标注的质量与心理学有效性？
• RQ4 语料库的文体平衡如何影响不同情感维度上情感标注的分布与可靠性？
• RQ5 在 EmoBank 上训练的模型是否能在 VAD 与分类情绪系统之间的跨格式情感映射任务中达到接近人类水平的性能？

主要发现

• 读者视角始终表现出比作者视角更高的标注者间一致性（IAA），表明其具有更高的标注可靠性。
• 基于读者的标注在所有三个 VAD 维度上均显示出显著更高的情感强度，相较于基于作者的标注。
• 该语料库在 VAD 与分类情绪格式之间的映射任务中达到了接近人类水平的性能，表明两种表示类型之间具有很强的兼容性。
• 双重视角设计揭示了情感表达与感知之间的系统性差异，支持在情感计算中采用双重视角标注的必要性。
• 在单一语料库中同时包含 VAD 与分类情绪标注，使得情感表示迁移与对齐的稳健评估成为可能。
• EmoBank 的文体均衡设计确保了其在不同文本类型与语言情境下情感分析研究中的广泛适用性。