[论文解读] Plan, Write, and Revise: an Interactive System for Open-Domain Story Generation

Seraphina Goldfarb-Tarrant, Haining Feng+1 more|arXiv (Cornell University)|Apr 4, 2019

Topic Modeling参考文献 9被引用 5

一句话总结

本文提出了一种交互式神经故事生成系统，支持人类在规划、写作和修订等多个阶段参与协作，表明多层级人机协同可使故事质量相比交互性较弱的基线系统提升10–50%，同时提高用户参与度，并实现对创造力、连贯性和多样性的针对性改进。

ABSTRACT

Story composition is a challenging problem for machines and even for humans. We present a neural narrative generation system that interacts with humans to generate stories. Our system has different levels of human interaction, which enables us to understand at what stage of story-writing human collaboration is most productive, both to improving story quality and human engagement in the writing process. We compare different varieties of interaction in story-writing, story-planning, and diversity controls under time constraints, and show that increased types of human collaboration at both planning and writing stages results in a 10-50% improvement in story quality as compared to less interactive baselines. We also show an accompanying increase in user engagement and satisfaction with stories as compared to our own less interactive systems and to previous turn-taking approaches to interaction. Finally, we find that humans tasked with collaboratively improving a particular characteristic of a story are in fact able to do so, which has implications for future uses of human-in-the-loop systems.

研究动机与目标

• 探究在开放域故事生成中，规划、写作和修订阶段的人机交互程度如何影响故事质量与用户参与度。
• 解决先前系统在故事规划、新颖性控制和迭代修订方面缺乏用户参与的局限性。
• 评估用户是否能够有效引导系统以改善特定故事质量，如创造力、因果时间连贯性与相关性。
• 将交互式系统与轮流交互基线进行比较，评估在时间约束下不同交互类型的影响。

提出的方法

• 该系统采用两种交互模式：跨模型（对比三种神经故事生成模型）与同模型（与单一选定模型协作），以支持用户驱动的故事创作。
• 用户可提供主题、调整解码温度（控制多样性）、共同构建故事线、编辑句子，并迭代修改早期内容以影响后续生成。
• Storyline Planner 使用源自 Yao et al. (2019) 的方法生成基于短语的故事大纲，随后由 Story Writer 生成完整故事。
• 系统支持灵活、非线性的交互：用户可在任意阶段返回修改计划或文本，后续内容实时更新。
• 通过 softmax 温度设置控制多样性，用户输入经 spaCy 分词与 Moses 反分词处理，以确保与模型输出的兼容性。
• 一组判别器模型从创造力、相关性、因果时间连贯性及整体质量等多个维度评估故事质量。

实验结果

研究问题

• RQ1 在故事生成的哪个阶段（规划、写作、修订）中，人类协作对提升故事质量最为有效？
• RQ2 相较于轮流交互或单阶段交互，多层级人机交互（规划、编辑、多样性控制、修订）在故事质量与用户满意度方面表现如何？
• RQ3 用户是否能通过针对性协作有效提升特定故事质量（如创造力、连贯性）？
• RQ4 用户对故事质量的主观感知在多大程度上与独立人类评分一致？不同交互条件下是否存在差异？
• RQ5 在迭代修订中，早期修改能传播至后续内容，这种机制是否能显著提升故事的连贯性与创造力？

主要发现

• 在规划、写作与修订阶段增加人机交互，使故事质量相比交互性较弱的基线系统提升了10–50%。
• 仅编辑生成句子的 Story only 条件在独立评分中于创造力与因果时间连贯性方面得分最高，尽管用户自评质量较低。
• 与非交互基线及轮流交互系统相比，交互式系统显著提升了用户参与度与满意度。
• 针对特定故事质量（如创造力、相关性）的定向协作带来了可测量的改进，All+ 实验在除相关性外的所有维度上均优于 All。
• 轮流交互基线在相关性方面表现相当，但在创造力与连贯性方面表现较差，表明仅局部编辑不足以提升整体故事质量。
• 用户自评质量得分与独立评分之间匹配度较低，尤其在 Story only 条件下，表明主观感知与客观质量之间存在脱节。