[论文解读] "Let Your Characters Tell Their Story": A Dataset for Character-Centric Narrative Understanding

Faeze Brahman, Meng Huang+4 more|arXiv (Cornell University)|Sep 12, 2021

Natural Language Processing Techniques被引用 4

一句话总结

本文提出了LiSCU，一个全新的文学摘要与以人物为中心的描述配对的数据集，旨在推进自然语言处理中以人物为中心的叙事理解。该研究提出了两项新任务——人物识别与人物描述生成，表明尽管现有模型能够生成流畅的描述，但往往与源摘要不够忠实，且在长上下文理解方面表现不佳，凸显了在叙事理解方面改进模型的必要性。

ABSTRACT

When reading a literary piece, readers often make inferences about various characters' roles, personalities, relationships, intents, actions, etc. While humans can readily draw upon their past experiences to build such a character-centric view of the narrative, understanding characters in narratives can be a challenging task for machines. To encourage research in this field of character-centric narrative understanding, we present LiSCU -- a new dataset of literary pieces and their summaries paired with descriptions of characters that appear in them. We also introduce two new tasks on LiSCU: Character Identification and Character Description Generation. Our experiments with several pre-trained language models adapted for these tasks demonstrate that there is a need for better models of narrative comprehension.

研究动机与目标

• 为解决机器在叙事中理解虚构人物的挑战，该挑战要求超越简单抽取的抽象理解。
• 开发一个新的数据集LiSCU，将文学摘要与从人物自身视角出发的深入人物描述配对。
• 提出两项新的自然语言处理任务：人物识别（从匿名描述中识别）与人物描述生成（抽象化、基于视角的分析）。
• 评估现代预训练语言模型在这些任务上的表现，识别其在忠实度、抽象能力与长上下文推理方面的局限性。
• 分析数据集中的性别偏见，发现尽管男性角色更频繁，但对男性与女性角色的描述在详细程度上相似，表明在分析处理上无显著差异。

提出的方法

• LiSCU数据集包含文学摘要及从人物视角撰写的相应人物描述，强调角色、特质、关系与动机。
• 人物描述生成被定义为一种抽象生成任务，与摘要任务不同，要求模型推断文本中未明确陈述的属性与角色。
• 人物识别被构建成一个分类任务，模型需在给定叙事摘要的前提下，从匿名描述中识别出正确的角色姓名。
• 数据集包含较长的摘要（平均1022个标记），对自然语言处理系统中的长上下文建模构成挑战。
• 通过Amazon Mechanical Turk进行了人工评估，以衡量质量与模型输出，采用有偿且基于时间的补偿机制，确保公平性。
• 对性别代表性进行了偏见分析，包括角色频率、摘要中的提及次数以及描述长度，以评估潜在的不平等现象。

实验结果

研究问题

• RQ1 预训练语言模型在多大程度上能生成忠实于源摘要、并捕捉关键属性与角色的描述？
• RQ2 当给定叙事摘要时，模型在从匿名描述中识别出正确角色方面的表现如何？
• RQ3 模型能否有效处理长篇叙事上下文（平均1022个标记），以生成连贯且准确的人物描述？
• RQ4 数据集或模型输出中是否存在性别偏见，特别是在男性与女性角色的处理上？
• RQ5 与人工标注的描述相比，模型生成的描述在抽象性、连贯性与事实一致性方面表现如何？

主要发现

• 现有预训练语言模型能够生成流畅且逻辑一致的人物描述，但常常无法忠实于源摘要，遗漏或扭曲关键细节。
• 人类在人物识别任务上的平均表现显著高于当前模型，表明模型在人物推理能力方面存在明显差距。
• 模型在长上下文叙事上表现吃力，因为平均摘要长度（1022个标记）已超出大多数现有NLP系统的舒适区。
• 尽管男性角色在数据集中更频繁（66%），但男性与女性角色的平均描述长度几乎相同（203 vs. 200个标记），表明在描述深度上无偏见。
• 男性与女性角色在摘要中的平均提及次数非常接近（32.1 vs. 31.7），表明尽管女性角色数量较少，但在叙事发展中的比例地位相当。
• 尽管角色频率存在不平衡，但男性与女性角色的描述长度或句子数量无显著差异，表明人工标注的描述未表现出基于性别的分析偏见。