[论文解读] An Interaction Framework for Studying Co-Creative AI

Matthew Guzdial, Mark Riedl|arXiv (Cornell University)|Mar 22, 2019

Data Visualization and Analytics参考文献 18被引用 5

一句话总结

本文提出了一种用于协作式人工智能系统的轮次交互框架，通过六个组成部分对人机协作进行结构化：开始（Start）、动作（Artifact、Other、Non-Turn）、AI 算法、用户（User）、轮次（Turns）和结束（End）。该框架支持对协作式 AI 系统的系统性比较，揭示设计对用户感知的影响，并生成可验证的假设（如非轮次学习与撤销功能可提升用户体验），并通过使用马尔可夫链、贝叶斯网络、LSTM 和深度强化学习智能体的人类实验得到验证。

ABSTRACT

Machine learning has been applied to a number of creative, design-oriented tasks. However, it remains unclear how to best empower human users with these machine learning approaches, particularly those users without technical expertise. In this paper we propose a general framework for turn-based interaction between human users and AI agents designed to support human creativity, called {co-creative systems}. The framework can be used to better understand the space of possible designs of co-creative systems and reveal future research directions. We demonstrate how to apply this framework in conjunction with a pair of recent human subject studies, comparing between the four human-AI systems employed in these studies and generating hypotheses towards future studies.

研究动机与目标

• 为分析和比较协作式 AI 系统缺乏结构化、可推广的框架提供解决方案。
• 支持面向用户的设计，使非技术用户能够在创意任务中获得赋能。
• 实现跨多样化 AI 交互范式（如创意支持工具、自主系统、协作式系统）的系统性比较。
• 通过结构化组件分析，生成关于协作式 AI 设计选择的可测试研究假设。
• 通过识别关键交互变量，指导更高效、更具用户响应能力的协作式系统开发。

提出的方法

• 该框架将协作式系统建模为人类用户与 AI 代理之间的轮次交互，包含六个核心组件：开始（Start）、动作（Artifact、Other、Non-Turn）、AI 算法、用户（User）、轮次（Turns）和结束（End）。
• 每个组件均作为设计反思点，支持在不同领域中精确描述系统行为。
• 该框架被用于表示先前的分类，如 Lubart 的计算机角色（保姆、笔友、教练、同事）以及三种交互类型（创意支持、自主、协作）。
• 通过两项人类被试研究进行验证，比较了在关卡生成任务中使用马尔可夫链、贝叶斯网络、LSTM 和深度强化学习智能体的 AI 代理。
• 分析了非轮次动作（如主动学习）以及用户操作（如撤销按钮）对用户感知和系统性能的影响。
• 利用该框架生成了关于轮次频率、中断机制、解释机制以及用户探索行为的新研究假设。

实验结果

研究问题

• RQ1 不同 AI 算法（如马尔可夫链、贝叶斯网络、LSTM）如何影响用户对协作式系统中创造力和可用性的感知？
• RQ2 非轮次动作（如主动学习或解释）对用户参与度和系统性能有何影响？
• RQ3 撤销按钮的引入在多大程度上提升了用户对 AI 生成内容的满意度和接受度？
• RQ4 尽管系统设计保持一致，用户对 AI 合作者的感知（如朋友、同事、学生）在多大程度上会有所不同？
• RQ5 如何通过调整轮次结构和结束条件来提升协作式体验的感知质量？

主要发现

• 尽管 LSTM 更难使用，但贝叶斯网络被感知为更具创造力，表明更低的变更频率和装饰性动作的引入增强了创造力感知。
• 马尔可夫链的创造力评分高于贝叶斯网络，原因在于其局部化、高变化率的内容生成方式，产生了更具趣味性的微观特征。
• 撤销按钮的引入使用户对 AI 生成内容的接受率平均提高了 15%，并使自我报告的挫败感降低了 15%，这与预期的可信度下降相反。
• 撤销按钮可能通过提供清晰的反馈信号，增强了深度强化学习智能体的非轮次学习效果，从而同时提升了模拟性能和用户报告结果。
• 尽管被设计为同事，用户仍将深度强化学习智能体感知为朋友、合作者、学生或管理者，表明感知高度依赖于情境和用户背景。
• 该框架成功揭示了 AI 代理观察范围的差异（如马尔可夫链：小窗口，贝叶斯网络：全屏，LSTM：接近全关卡）显著影响了用户对创造力和行为的感知。