[论文解读] Creative Writing with an AI-Powered Writing Assistant: Perspectives from Professional Writers

Daphne Ippolito, Ann Yuan+2 more|arXiv (Cornell University)|Nov 9, 2022

Topic Modeling被引用 49

一句话总结

该论文报告了一项为期较长的研究，13名专业作家使用 Wordcraft——一个 AI 辅助写作编辑器——探索工作流程、局限性，以及 AI 在创意写作中的作用。它强调在保持个人声音方面的挑战、对套路的过度依赖，以及用户界面对高效协作的重要性。

ABSTRACT

Recent developments in natural language generation (NLG) using neural language models have brought us closer than ever to the goal of building AI-powered creative writing tools. However, most prior work on human-AI collaboration in the creative writing domain has evaluated new systems with amateur writers, typically in contrived user studies of limited scope. In this work, we commissioned 13 professional, published writers from a diverse set of creative writing backgrounds to craft stories using Wordcraft, a text editor with built-in AI-powered writing assistance tools. Using interviews and participant journals, we discuss the potential of NLG to have significant impact in the creative writing domain--especially with respect to brainstorming, generation of story details, world-building, and research assistance. Experienced writers, more so than amateurs, typically have well-developed systems and methodologies for writing, as well as distinctive voices and target audiences. Our work highlights the challenges in building for these writers; NLG technologies struggle to preserve style and authorial voice, and they lack deep understanding of story contents. In order for AI-powered writing assistants to realize their full potential, it is essential that they take into account the diverse goals and expertise of human writers.

研究动机与目标

• 评估专业作家在不同背景和体裁中与 AI 驱动的写作助手的互动情况。
• 了解在使用 Wordcraft 时的工作流程，包括头脑风暴、起草和世界观构建。
• 识别在风格、声线和内容理解方面的局限性，这些局限性影响专家的有用性。

提出的方法

• 聘请来自多元背景的 13 名已刊发作者，在八周内使用 Wordcraft 写作一篇 1,000-1,500 字的故事。
• 通过日记和每位参与者两次访谈收集开放式定性反馈。
• 对日记和访谈进行编码，提取关于工作流程、思维模型，以及界面/AI 局限性的主题。
• 描述 Wordcraft 的控制与聊天机器人界面，并分析它们如何影响写作过程。

实验结果

研究问题

• RQ1 专业作家如何在写作工作流程中整合像 Wordcraft 这样的 AI 辅助工具？
• RQ2 在使用 AI 生成的建议进行头脑风暴、世界观构建和起草时，会出现哪些工作流程？
• RQ3 在保持声线、避免套路以及理解故事内容方面，AI 写作助手的主要局限性是什么？
• RQ4 用户界面和聊天机器人交互如何影响专业作家与 AI 的协作？
• RQ5 哪些改进可以使 AI 工具更好地支持专业作家？

主要发现

• 作家将 Wordcraft 用作头脑风暴伙伴、共同作者、beta 读者和研究助手，且在个体之间强调点各不相同。
• 界面设计和对 AI 的可控性显著影响高效协作和工具的采用。
• AI 生成的内容往往缺乏鲜明的声音，质量参差不齐，并且倾向于平淡或充满陈词滥调的建议。
• 参与者展示了新兴的工作流程，包括使用 AI 进行创意构思、世界观细节、重写，以及作为即兴演练伙伴，但经常需要自行整理和编辑 AI 输出。
• 聊天机器人界面被看重用于头脑风暴，但在就故事内容或风格选择提供有意义、带有个人观点的指导方面存在困难。
• 较小、较不复杂的模型有时会产生更有趣的错误；较大的模型提供连贯性，但阻碍了风格控制和新颖性。