[论文解读] Interacting with next-phrase suggestions: How suggestion systems aid and influence the cognitive processes of writing

Advait Bhat, Saaket Agashe+4 more|arXiv (Cornell University)|Aug 1, 2022

Second Language Acquisition and Learning被引用 5

一句话总结

本研究基于Hayes（2012）的写作模型，采用认知视角，探究业余写作者在使用基于GPT-2的下一句预测系统撰写影评时的互动行为。研究发现，即使对建议持异议，写作者仍会抽象、提取并评估建议；且建议系统显著改变了写作计划并增加了分心，尤其在情感倾向不一致时更为明显。

ABSTRACT

Writing with next-phrase suggestions powered by large language models is becoming more pervasive by the day. However, research to understand writers' interaction and decision-making processes while engaging with such systems is still emerging. We conducted a qualitative study to shed light on writers' cognitive processes while writing with next-phrase suggestion systems. To do so, we recruited 14 amateur writers to write two reviews each, one without suggestions and one with suggestions. Additionally, we also positively and negatively biased the suggestion system to get a diverse range of instances where writers' opinions and the bias in the language model align or misalign to varying degrees. We found that writers interact with next-phrase suggestions in various complex ways: Writers abstracted and extracted multiple parts of the suggestions and incorporated them within their writing, even when they disagreed with the suggestion as a whole; along with evaluating the suggestions on various criteria. The suggestion system also had various effects on the writing process, such as altering the writer's usual writing plans, leading to higher levels of distraction etc. Based on our qualitative analysis using the cognitive process model of writing by Hayes as a lens, we propose a theoretical model of 'writer-suggestion interaction' for writing with GPT-2 (and causal language models in general) for a movie review writing task, followed by directions for future research and design.

研究动机与目标

• 理解写作者在实时交互中与下一句建议系统互动时所经历的认知过程。
• 考察写作者观点与模型生成建议之间的情感不一致如何影响写作行为与决策。
• 分析建议系统对写作过程的影响，包括计划变更、分心现象及评估行为。
• 基于Hayes（2012）的写作认知过程模型，构建‘写作者-建议互动’的理论模型。
• 为未来人机协同写作系统的设计与研究提供依据，尤其针对GPT-2等因果语言模型。

提出的方法

• 对来自印度的14名业余L2英语写作者开展定性研究，每位参与者撰写两篇影评：一篇启用建议，一篇禁用建议。
• 使用在IMDb影评数据集上微调过的GPT-2语言模型，生成两种版本：一种倾向低分（2.5分）情感，一种倾向高分（8.5分）情感。
• 通过思维 aloud 协同写作与事后访谈，捕捉写作者的实时认知过程与决策行为。
• 采用扎根理论编码分析协议，以Hayes（2012）的写作认知过程模型为分析框架，对互动行为进行分类。
• 系统比较情感倾向一致与不一致条件下的写作行为，以隔离建议偏差的影响。
• 基于在构思、翻译与转录阶段观察到的认知行为，提出‘写作者-建议互动’的理论模型。

实验结果

研究问题

• RQ1 当写作者整体上不认同建议时，他们如何在认知层面上与下一句建议互动？
• RQ2 建议系统以何种方式改变了写作者原有的写作计划与认知工作流程？
• RQ3 当写作者意图与模型输出之间存在情感不一致时，如何影响建议的评估与选择？
• RQ4 哪些认知过程（如构思、语言转换、转录）最易受到建议系统的影响？
• RQ5 建议系统如何在写作过程中引发分心或增加认知负荷？

主要发现

• 即使拒绝完整建议，写作者也频繁地抽象并提取建议中的部分短语，用于构思、语言组织或输入辅助。
• 写作者基于相关性、情感一致性、语言质量及与自身文风的契合度对建议进行评估，即使未逐字采纳。
• 建议的引入导致写作计划发生变化，包括结构、语气与关注焦点的调整，尤其在建议具有强烈观点或情感不一致时更为显著。
• 写作者情感与建议输出之间的情感不一致加剧了评估强度，显著增加了认知负荷，尤其当建议与写作者观点相悖时。
• 建议系统引发更高水平的分心，写作者频繁暂停以考虑或拒绝建议，破坏了自然的写作节奏。
• 研究发现，建议系统不仅通过内容，还通过建议的时机与频率影响写作过程，建议越频繁，认知干扰越大。