[论文解读] Designing Human and Generative AI Collaboration

Kartik Hosanagar, Daehwan Ahn|arXiv (Cornell University)|Dec 14, 2024

Big Data and Business IntelligenceBusiness, Management and Accounting被引用 3

一句话总结

本研究探讨了人类与生成式AI之间不同协作设计对创意写作成果的影响。通过一项受控实验，发现人类在早期创意阶段的积极参与显著提升了故事质量、趣味性及用户满意度，同时减少了对AI的过度依赖，并保持了创意多样性。

ABSTRACT

We examined the effectiveness of various human-AI collaboration designs on creative work. Through a human subjects experiment set in the context of creative writing, we found that while AI assistance improved productivity across all models, collaboration design significantly influenced output quality, user satisfaction, and content characteristics. Models incorporating human creative input delivered higher content interestingness and overall quality as well as greater task performer satisfaction compared to conditions where humans were limited to confirming AI's output. Increased AI involvement encouraged creators to explore beyond personal experience but also led to lower aggregate diversity in stories and genres among participants. However, this effect was mitigated through human participation in early creative tasks. These findings underscore the importance of preserving the human creative role to ensure quality, satisfaction, and creative diversity in human-AI collaboration.

研究动机与目标

• 探究人类与AI在创意写作任务中参与程度的差异如何影响输出质量与用户体验。
• 考察协作设计对创意多样性的影响，包括生成故事中的体裁与主题多样性。
• 评估人类在早期构思阶段的参与如何影响AI辅助创意作品的最终质量与原创性。
• 识别在保留人类创意自主性的同时，充分利用AI生产效率优势的设计原则。

提出的方法

• 在创意写作情境下开展一项涉及人类受试者的实验，设置受控的协作条件。
• 对比人类仅生成初始创意或仅确认AI生成内容的AI协作模式。
• 使用标准化指标评估故事质量、趣味性及用户满意度。
• 收集并分析叙事输出，以评估体裁、主题与叙事结构的多样性。
• 结合定性反馈与定量评分，评估用户体验与感知满意度。
• 采用补充分析，考察人类输入时机与创意成果之间的关系。

实验结果

研究问题

• RQ1 人类在创意过程中的参与时机与程度如何影响AI辅助故事的质量与趣味性？
• RQ2 纯AI生成与人机协同创作对叙事多样性与原创性有何影响？
• RQ3 协作设计如何影响用户在AI辅助创意任务中的满意度与感知自主性？
• RQ4 AI参与程度的提高在多大程度上减少了用户生成故事中的体裁与主题多样性？

主要发现

• 要求人类在早期构思阶段参与的协作模式，其生成故事在趣味性与整体质量方面获得显著更高的评分。
• 参与者表示，当他们主动参与创意贡献时，满意度更高，而非仅确认AI输出。
• 人类输入有限的条件导致故事整体在体裁与主题上的多样性降低。
• AI参与程度提高虽促进了超越个人经验的探索，但以叙事多样性下降为代价。
• 人类在早期阶段的参与缓解了高AI参与度通常伴随的创意多样性下降趋势。
• AI辅助在所有模型中均提升了生产力，但质量与满意度强烈依赖于协作设计。