[论文解读] GoodNewsEveryone: A Corpus of News Headlines Annotated with Emotions, Semantic Roles, and Reader Perception

Laura Ana Maria Bostan, Evgeny Kim+1 more|arXiv (Cornell University)|Dec 6, 2019

Sentiment Analysis and Opinion Mining参考文献 57被引用 40

一句话总结

本论文介绍 GoodNewsEveryone，这是一个包含 5,000 条头条的英文语料库，标注情感类别、强度、语义角色（experiencer, cue, cause, target）以及读者感知，采用两阶段众包注释过程，并给出基线角色预测结果。

ABSTRACT

Most research on emotion analysis from text focuses on the task of emotion classification or emotion intensity regression. Fewer works address emotions as a phenomenon to be tackled with structured learning, which can be explained by the lack of relevant datasets. We fill this gap by releasing a dataset of 5000 English news headlines annotated via crowdsourcing with their associated emotions, the corresponding emotion experiencers and textual cues, related emotion causes and targets, as well as the reader's perception of the emotion of the headline. This annotation task is comparably challenging, given the large number of classes and roles to be identified. We therefore propose a multiphase annotation procedure in which we first find relevant instances with emotional content and then annotate the more fine-grained aspects. Finally, we develop a baseline for the task of automatic prediction of semantic role structures and discuss the results. The corpus we release enables further research on emotion classification, emotion intensity prediction, emotion cause detection, and supports further qualitative studies.

研究动机与目标

• 创建一个资源，用于研究文本中的情感，超越简单分类，包括在头条中谁感受了什么、为何以及对谁
• 捕捉读者感知的情感及其强度，以分析观众解读差异。
• 标注与情感框架相一致的语义角色（experiencer, cue, cause, target）用于头条。
• 提供众包指南、两阶段注释和裁定程序，以获得高质量数据。
• 提供头条中自动语义角色结构预测的基线建模结果。

提出的方法

• 通过 RSS 从 82 个来源收集头条，并结合社交媒体上下文（推文、回复、Reddit）来抽样情绪显著的条目。
• 使用随机抽样、NRC-emotion-lexicon、命名实体以及社交媒体影响抽样来筛选和分层头条，以获得 9,932 个候选条目。
• 两阶段众包：阶段 1 选择主导情感和读者触发潜力；阶段 2 使用五位注释者对情感类别、强度、读者情感和开放性角色（experiencer, cause, target）进行注释。
• 使用规则（相对多数、最常见子序列、最长公共子序列、名词短语块）和人工评审对注释进行裁定，以生成金标签。
• 计算评注者间一致性（Kappa、F1、MASI、熵）并报告情感与角色的分布；公开所有评注者判断以反映模糊性。

实验结果

研究问题

• RQ1 如何用包含 experiencer、cause、target 和 cues 的结构化情感表示来注释头条？
• RQ2 头条情感分类、强度和语义角色的众包注释的可靠性是多少？
• RQ3 一个基线模型能否预测头条中情感的语义角色结构，其性能如何？
• RQ4 读者对情感的感知与作者或文本在头条中明确表达的情感有何差异？

主要发现

• 该数据集包含 5,000 条头条，总词数 56,612，唯一标记 17,513；平均头条长度为 11 个词。
• 阶段 1 与阶段 2 的众包实现了不同的一致性模式，对情感任务的共识度高于开放问题任务，且在主导情感标注中存在显著的主观性。
• 开放性问题（experiencer、cue、cause、target）的评注者间一致性显示出变化，但总体公允的指标（如 experencer、cue、cause、target 在各指标的平均值）。
• Cue 和 Cause 是最常注释的角色（各 27%），其次是 Target（25%），Experiencer 出现于 19% 的注释中。
• 负面惊讶和正面惊讶在情感注释中占主导地位；Love 的注释最少。
• 作者提供了裁定指南，并显示 Most Common Subsequence 和 Longest Common Subsequence 之类的规则有助于开放问题的自动裁定。