[论文解读] An HCI-Centric Survey and Taxonomy of Human-Generative-AI Interactions

Jingyu Shi, Rahul Jain+3 more|arXiv (Cornell University)|Oct 11, 2023

Innovative Human-Technology Interaction被引用 8

一句话总结

对人机GenAI 互动的291篇论文进行全面综述，提出从人类与GenAI视角的 holistic 分类法，以指导未来设计。

ABSTRACT

Generative AI (GenAI) has shown remarkable capabilities in generating diverse and realistic content across different formats like images, videos, and text. In Generative AI, human involvement is essential, thus HCI literature has investigated how to effectively create collaborations between humans and GenAI systems. However, the current literature lacks a comprehensive framework to better understand Human-GenAI Interactions, as the holistic aspects of human-centered GenAI systems are rarely analyzed systematically. In this paper, we present a survey of 291 papers, providing a novel taxonomy and analysis of Human-GenAI Interactions from both human and Gen-AI perspectives. The dimensions of design space include 1) Purposes of Using Generative AI, 2) Feedback from Models to Users, 3) Control from Users to Models, 4) Levels of Engagement, 5) Application Domains, and 6) Evaluation Strategies. Our work is also timely at the current development stage of GenAI, where the Human-GenAI interaction design is of paramount importance. We also highlight challenges and opportunities to guide the design of Gen-AI systems and interactions towards the future design of human-centered Generative AI applications.

研究动机与目标

• 综合现有关于人-GenAI 互动的工作，构建一个 holistic 的分类法。
• 从人类和 GenAI 的视角分析设计空间，以识别核心交互组件。
• 突出设计挑战、机会，并为未来以人为本的 GenAI 系统指明方向。

提出的方法

• 遵循 PRISMA 指南的系统性文献综述。
• 在 ML/DL、CV、NLP 圈内进行两轮关键词检索，以识别 GenAI 模型和 GenAI-系统论文。
• 将初始语料库 12,076 篇论文筛选至 797 篇，再基于纳入标准进行资格筛选，最终确定 291 篇论文。
• 三位作者通过迭代精炼进行协作式分类法开发，评定者间一致性（Fleiss’ Kappa = 0.79）。
• 汇编双视角分类法，涵盖以人为中心与以模型为中心的设计维度。

实验结果

研究问题

• RQ1 构成人-GenAI 互动的核心设计维度有哪些？
• RQ2 GenAI 系统如何向人类反馈，以及人类如何在协同工作流中控制 GenAI？
• RQ3 人-GenAI 互动的典型应用领域与评估策略是什么？
• RQ4 未来以人为本的 GenAI 设计面临哪些机会与挑战？

主要发现

• 提出包含五个（六个）核心设计维度的综合分类法：使用 GenAI 的目的、模型向人类的反馈、人为向模型的控制、参与度水平、应用领域与评估策略。
• 展示在交互设计中需要从人类视角与 GenAI 视角两方面进行 holistic 考量的必要性。
• 识别未解的研究问题、挑战与机会，以指导未来以人为本的 GenAI 应用。
• 提供一个经过整理的语料库和开源资源，以实现对分类法的复现实验与扩展。
• 首次专门聚焦人-GenAI 互动系统的综合文献调查，综合跨领域洞察。