[论文解读] APPReddit: a Corpus of Reddit Posts Annotated for Appraisal

Marco Antonio Stranisci, Simona Frenda+4 more|arXiv (Cornell University)|May 31, 2022

Sentiment Analysis and Opinion Mining被引用 5

一句话总结

本文提出了 APPReddit，这是首个基于 Roseman 多维评估理论对 Reddit 帖子进行评估标注的大规模语料库。研究证明，非实验性社交媒体数据可以可靠地标注评估维度，并表明将 APPReddit 与实验性 enISEAR 语料库合并，可提升基于 SVM 的四维评估维度预测性能中的三个。

ABSTRACT

Despite the large number of computational resources for emotion recognition, there is a lack of data sets relying on appraisal models. According to Appraisal theories, emotions are the outcome of a multi-dimensional evaluation of events. In this paper, we present APPReddit, the first corpus of non-experimental data annotated according to this theory. After describing its development, we compare our resource with enISEAR, a corpus of events created in an experimental setting and annotated for appraisal. Results show that the two corpora can be mapped notwithstanding different typologies of data and annotations schemes. A SVM model trained on APPReddit predicts four appraisal dimensions without significant loss. Merging both corpora in a single training set increases the prediction of 3 out of 4 dimensions. Such findings pave the way to a better performing classification model for appraisal prediction.

研究动机与目标

• 解决自然语言处理领域中缺乏非实验性、带有评估标注的语料库的问题，尽管评估理论在情感建模中的兴趣日益增长。
• 为非正式、用户生成的社交媒体文本中的评估维度开发可靠的标注方案。
• 探究是否可以将非实验性数据（Reddit）中的评估标注有意义地映射到实验性数据（enISEAR）的标注上。
• 评估结合实验性与非实验性数据是否能提升评估维度的计算建模性能。
• 提供一个基础性资源，通过基于评估的特征推动情感分析、立场检测和有害语言识别等任务的发展。

提出的方法

• 使用 Roseman 的评估模型对 1,091 篇 Reddit 帖子进行标注，重点关注四个核心评估维度：目标顺应性、动机、确定性与提示性。
• 采用多阶段标注流程，由专家标注员参与并进行标注者间一致性检查，以确保可靠性。
• 将 APPReddit 的标注方案映射到 enISEAR 语料库（使用不同评估理论）上，以评估跨语料库的兼容性。
• 在 APPReddit 上训练支持向量机（SVM）模型以预测评估维度，并通过标准指标评估性能。
• 将 APPReddit 与 enISEAR 合并为单一训练集，并重新训练 SVM 模型以评估性能提升。
• 使用统计分析比较不同训练配置下的模型性能，并评估改进的显著性。

实验结果

研究问题

• RQ1 能否在 Reddit 这类非实验性环境中，可靠地理解并依据 Roseman 的评估模型对文本进行标注？
• RQ2 是否可以将基于 Roseman 评估理论的标注方案映射到使用不同评估理论的 enISEAR 语料库上？
• RQ3 非实验性与实验性数据能否相互补充，以提升评估维度的计算建模性能？

主要发现

• APPReddit 成功证明，非实验性、非正式的 Reddit 帖子可以基于 Roseman 模型可靠地标注评估维度。
• 尽管数据类型和标注方案存在差异，仍实现了 APPReddit 与 enISEAR 之间的有意义映射，表明跨理论兼容性成立。
• 仅在 APPReddit 上训练的 SVM 模型在预测四个评估维度方面表现显著，且与基于实验数据训练的模型相比，性能无显著下降。
• 将 APPReddit 与 enISEAR 合并为单一训练集后，四维评估维度中的三个预测性能得到提升。
• 合并后的语料库为训练鲁棒的评估预测模型提供了更坚实的基础，表明非实验性数据可显著增强现有实验性资源。
• 结果支持利用社交媒体数据进行基于评估的自然语言处理任务的可行性与实用性，拓展了可利用语言资源的范围。