[论文解读] Annotating Character Relationships in Literary Texts

Philip Massey, Patrick Xia+2 more|arXiv (Cornell University)|Dec 2, 2015

Topic Modeling参考文献 1被引用 11

一句话总结

本文提出一个大规模、开源的文本数据集，对从荷马的《伊利亚特》到乔伊斯的《尤利西斯》在内的109部文学作品中的人物关系进行了人工标注，使用亚马逊Mechanical Turk上的非专家标注者，基于SparkNotes的摘要判断关系。主要贡献是高准确率的数据集，粗粒度类别的组间一致性为 $κ = 0.812$，细粒度类别的组间的一致性为 $κ = 0.744$，支持自然语言处理模型在文学关系抽取任务中的训练与评估。

ABSTRACT

We present a dataset of manually annotated relationships between characters in literary texts, in order to support the training and evaluation of automatic methods for relation type prediction in this domain (Makazhanov et al., 2014; Kokkinakis, 2013) and the broader computational analysis of literary character (Elson et al., 2010; Bamman et al., 2014; Vala et al., 2015; Flekova and Gurevych, 2015). In this work, we solicit annotations from workers on Amazon Mechanical Turk for 109 texts ranging from Homer's _Iliad_ to Joyce's _Ulysses_ on four dimensions of interest: for a given pair of characters, we collect judgments as to the coarse-grained category (professional, social, familial), fine-grained category (friend, lover, parent, rival, employer), and affinity (positive, negative, neutral) that describes their primary relationship in a text. We do not assume that this relationship is static; we also collect judgments as to whether it changes at any point in the course of the text.

研究动机与目标

• 创建一个大规模、开源的文学作品中人物关系数据集，以支持自动关系预测模型的训练与评估。
• 评估依赖第三方摘要（如SparkNotes）而非全文的非专家标注者的可行性。
• 刻画人物关系的动力学特征，包括随时间的变化以及情感倾向（积极、消极、中性）。
• 为跨多种文学作品的文学人物及其互动的计算分析提供基础。
• 支持未来在叙事理解、人物关系网络分析以及文学中关系类型预测方面的研究。

提出的方法

• 通过亚马逊Mechanical Turk上的标注者，基于SparkNotes摘要而非全文评估人物之间的二元关系。
• 收集了四个标注维度：亲密度（积极、消极、中性）、粗粒度类别（家庭、社会、职业）、细粒度类型（如朋友、父母、同事），以及关系变化（是/否，附描述）。
• 每部作品由多名工作者标注，共收集了2,170条标注，涵盖109部作品，其中392对人物关系获得两次独立标注以评估一致性。
• 使用Fleiss的 $κ$ 统计量校正偶然一致性，按标注类型报告结果。
• 所有数据（包括匿名化工作者ID的原始标注）均可在 http://github.com/dbamman/characterRelations 免费获取。
• 该数据集涵盖来自不同作者和时期的文学作品，包括荷马、莎士比亚、奥斯汀、托尔斯泰、乔伊斯等，确保广泛的文学覆盖范围。

实验结果

研究问题

• RQ1 非专家标注者能否仅基于摘要信息可靠地识别和分类文学作品中的人物关系？
• RQ2 在基于摘要的标注中，粗粒度和细粒度关系类别的一致性能达到何种水平？
• RQ3 在文学作品的进程中，人物关系变化的频率如何，其检测的可靠性如何？
• RQ4 在广泛范围的文学作品中，关系类型（亲密度、类别、类型）的分布是怎样的？
• RQ5 非专家标注者在人物关系的情感（亲密度）判断上的一致性程度如何？

主要发现

• 粗粒度类别的组间一致性较高，Fleiss的 $κ = 0.812$，表明标注者之间具有很强的一致性。
• 细粒度关系类型的标注也表现出显著的一致性（$\u03ba = 0.744$），表明对特定关系类型（如“丈夫/妻子”或“同事”）的分类是可靠的。
• 18.1%的人物关系对在文本过程中被判断为发生显著变化，但经过偶然性校正后，该判断的一致性较低（$\u03ba = 0.208$）。
• 亲密度标注的一致性最低（$\u03ba = 0.364$），表明非专家在情感判断方面尤其具有挑战性。
• 该数据集共包含109部文学作品中的2,170条标注，其中392对人物关系获得两次独立标注以评估可靠性。
• 所有数据均可在 http://github.com/dbamman/characterRelations 免费获取，包括带有匿名化工作者ID的原始标注，支持可复现性与进一步研究。