[论文解读] Frowning Frodo, Wincing Leia, and a Seriously Great Friendship: Learning to Classify Emotional Relationships of Fictional Characters

Evgeny Kim, Roman Klinger|arXiv (Cornell University)|Mar 29, 2019

Sentiment Analysis and Opinion Mining参考文献 30被引用 13

一句话总结

本文提出了一个新颖的任务：在文学文本中对虚构角色之间的情感关系进行分类，提出了一种基于GRU模型并结合位置编码的神经关系分类框架，实验基于同人小说语料库进行。最佳模型在无向情感关系分类任务中达到0.45的F1分数，表明细粒度情感建模优于二元极性分类，能够更准确地捕捉角色间复杂的情感互动。

ABSTRACT

The development of a fictional plot is centered around characters who closely interact with each other forming dynamic social networks. In literature analysis, such networks have mostly been analyzed without particular relation types or focusing on roles which the characters take with respect to each other. We argue that an important aspect for the analysis of stories and their development is the emotion between characters. In this paper, we combine these aspects into a unified framework to classify emotional relationships of fictional characters. We formalize it as a new task and describe the annotation of a corpus, based on fan-fiction short stories. The extraction pipeline which we propose consists of character identification (which we treat as given by an oracle here) and the relation classification. For the latter, we provide results using several approaches previously proposed for relation identification with neural methods. The best result of 0.45 F1 is achieved with a GRU with character position indicators on the task of predicting undirected emotion relations in the associated social network graph.

研究动机与目标

• 提出计算文学研究中的新任务：从文学文本中提取情感角色网络。
• 通过结合社会网络分析与情感分析，填补角色间情感动态分析的空白。
• 开发并评估用于分类叙事文本中角色间情感关系的神经模型。
• 发布一个公开可获取的手动标注语料库，包含19篇同人小说短篇故事，涵盖角色提及与情感关系。
• 探究细粒度情感分类是否在角色互动中优于二元极性分类。

提出的方法

• 将任务形式化为使用神经序列模型对角色对之间的情感关系（无向或有向）进行分类。
• 采用基于GRU的模型，并引入角色位置标识符（MRole, MEntity）以编码关系上下文，提升性能。
• 模型采用基于普鲁契克八种基本情绪的离散情感分类：愤怒、恐惧、喜悦、期待、信任、惊讶、厌恶与悲伤。
• 语料库使用WebAnno进行标注，每条情感关系表示为三元组（C_exp, e, C_cause），其中C_exp为感受情绪e的角色，C_cause为引发该情绪的原因角色。
• 评估在三个层级进行：实例级、故事级与图级，采用微观与宏观平均策略计算精确率、召回率与F1分数。
• 基线模型包括BOW-RF与无位置标识符的GRU模型，性能在2、5、8类情感设置下进行对比。

实验结果

研究问题

• RQ1 与基线模型相比，使用位置编码的神经模型是否能提升对虚构角色间情感关系的分类性能？
• RQ2 在角色互动中，细粒度多分类情感分类是否优于二元极性分类？
• RQ3 不同评估层级（实例级、故事级、图级）如何影响情感关系分类的性能测量结果？
• RQ4 角色位置标识符与上下文嵌入在叙事文本中对情感关系建模的贡献程度如何？
• RQ5 与传统BOW-RF模型相比，GRU模型在不同情感类别设置下的性能提升是否具有一致性？

主要发现

• 采用多角色位置编码的GRU模型（GRU+MRole）在无向8类情感关系分类任务中取得最高F1分数0.45。
• 在图级评估中，GRU+MRole模型在2类设置下达到73%的F1分数，表明图级评估因放宽匹配约束而提升了性能。
• 二元分类与多分类情感分类之间的性能差距显著，多分类模型明显优于二分类模型，表明情感互动具有细微差别，无法通过简单极性分类准确捕捉。
• 位置编码（MRole, MEntity）在无此类标识符的模型上持续提升性能，尤其在有向关系分类中表现更优。
• BOW-RF基线模型性能远低于RNN-based模型，表明序列建模对捕捉关系上下文至关重要。
• 结果表明，二分类设置下各模型差异微小，但在多分类设置下差异显著，进一步证明细粒度情感建模的必要性。