[论文解读] Inspiration through Observation: Demonstrating the Influence of Automatically Generated Text on Creative Writing

Melissa Roemmele|arXiv (Cornell University)|Jul 8, 2021

Artificial Intelligence in Games被引用 10

一句话总结

本文研究了观察自动生成的文本如何影响人类的创造性写作，重点在于通过句子补全生成具有‘故事性’的句子——即能引发引人入胜叙事的句子。通过使用神经语言模型生成示例句子，研究发现，当人类作者接触到这些示例时，其生成的句子在故事性方面显著提升，证明了‘通过观察获得灵感’的效果，且未涉及直接复制。

ABSTRACT

Getting machines to generate text perceived as creative is a long-pursued goal. A growing body of research directs this goal towards augmenting the creative writing abilities of human authors. In this paper, we pursue this objective by analyzing how observing examples of automatically generated text influences writing. In particular, we examine a task referred to as sentence infilling, which involves transforming a list of words into a complete sentence. We emphasize "storiability" as a desirable feature of the resulting sentences, where "storiable" sentences are those that suggest a story a reader would be curious to hear about. Both humans and an automated system (based on a neural language model) performed this sentence infilling task. In one setting, people wrote sentences on their own; in a different setting, people observed the sentences produced by the model while writing their own sentences. Readers then assigned storiability preferences to the resulting sentences in a subsequent evaluation. We find that human-authored sentences were judged as more storiable when authors observed the generated examples, and that storiability increased as authors derived more semantic content from the examples. This result gives evidence of an "inspiration through observation" paradigm for human-computer collaborative writing, through which human writing can be enhanced by text generation models without directly copying their output.

研究动机与目标

• 探究观察AI生成的文本是否能提升人类创造性写作的表现。
• 评估自动生成示例对句子补全任务中人类写作句子故事性的影响。
• 探讨来自生成示例的语义影响如何作用于人类写作结果。
• 评估观察效果是否随任务难度变化，特别是在具有挑战性的写作情境中。
• 为人类-计算机协作写作中的‘通过观察获得灵感’范式提供实证证据。

提出的方法

• 开展一项受控实验，让人类作者在两种条件下完成句子补全任务：有和无AI生成示例的暴露。
• 使用神经语言模型基于词元提示生成示例句子，确保语义相关性和叙事潜力。
• 通过读者偏好判断来操作化‘故事性’，即询问参与者哪一句更让他们想继续阅读。
• 通过词汇和语义相似性度量，比较观察后的人类句子与生成示例之间的语义影响。
• 基于提示难度（简单与困难提示）分析故事性差异，以评估情境效应。
• 收集并分析作者行为的定性和定量数据，包括影响模式和感知叙事吸引力。

实验结果

研究问题

• RQ1 在句子补全任务中，观察AI生成的句子是否能提升人类写作句子的故事性？
• RQ2 人类作者在创造性写作过程中，从观察到的AI生成示例中获取语义内容的程度如何？
• RQ3 写作提示的难度在多大程度上调节生成示例对故事性的影响？
• RQ4 生成示例中的哪些语义或概念特征对人类写作结果影响最为显著？
• RQ5 ‘通过观察获得灵感’的范式是否能在不需直接互动或复制模型输出的情况下增强人类创造力？

主要发现

• 当作者观察到AI生成的示例时，其生成的句子被判断为显著更具故事性，相较于无暴露情况。
• 故事性提升与作者从生成示例中获取的语义内容量成正比，表明存在有意义的影响，但未涉及复制行为。
• 观察的积极影响在困难提示条件下显著强于简单提示，表明在具有挑战性的写作情境中受益更大。
• 在简单提示与困难提示之间，观察后句子与生成示例的语义相似性无显著差异，表明影响强度未在简单情况下减弱，但其提升故事性的效果较弱。
• 作者并未简单复制或模仿生成示例；相反，他们重构或重新表述了想法，表明对潜在语义关联进行了概念激活或重新诠释。
• 结果支持一种非侵入性的、基于观察的AI辅助形式，通过激发新的叙事方向来增强人类创造力，而无需取代作者的输入。