[论文解读] CoQuest: Exploring Research Question Co-Creation with an LLM-based Agent

Yiren Liu, Si Chen+6 more|arXiv (Cornell University)|Oct 9, 2023

Wikis in Education and Collaboration被引用 4

一句话总结

CoQuest 是一个基于大语言模型（LLM）的协同创作系统，通过人机协作支持研究人员生成新颖的研究问题（RQ），采用两种交互设计——广度优先与深度优先的 RQ 生成方式。20 名参与者的实验结果显示，尽管在任务过程中深度优先生成方式让人感觉更具创造性，但广度优先生成最终产生了更具创造性和可信度的结果，且 AI 处理延迟有助于用户反思并增强其感知控制感。

ABSTRACT

Developing novel research questions (RQs) often requires extensive literature reviews, especially in interdisciplinary fields. To support RQ development through human-AI co-creation, we leveraged Large Language Models (LLMs) to build an LLM-based agent system named CoQuest. We conducted an experiment with 20 HCI researchers to examine the impact of two interaction designs: breadth-first and depth-first RQ generation. The findings revealed that participants perceived the breadth-first approach as more creative and trustworthy upon task completion. Conversely, during the task, participants considered the depth-first generated RQs as more creative. Additionally, we discovered that AI processing delays allowed users to reflect on multiple RQs simultaneously, leading to a higher quantity of generated RQs and an enhanced sense of control. Our work makes both theoretical and practical contributions by proposing and evaluating a mental model for human-AI co-creation of RQs. We also address potential ethical issues, such as biases and over-reliance on AI, advocating for using the system to improve human research creativity rather than automating scientific inquiry.

研究动机与目标

• 探究不同的 AI 交互设计（广度优先与深度优先）如何影响人机协作中研究问题的协同生成。
• 考察 AI 处理延迟在促进用户反思、感知控制感以及研究问题生成创造力方面的作用。
• 评估在人机协同生成研究问题过程中，用户对信任、感知控制感以及认知偏差（如确认偏误）的影响。
• 设计并评估一个集文献可视化、理由解释（AI Thoughts）与交互式反馈于一体的系统，以提升协同创作体验。

提出的方法

• CoQuest 采用三面板界面：RQ 流编辑器用于生成研究问题，文献图谱可视化器用于探索文献，AI Thoughts 面板用于解释 AI 的推理过程。
• 系统支持两种交互模式：广度优先（早期生成多个 RQ）与深度优先（一次聚焦于一个 RQ），并迭代整合用户反馈。
• 有意引入 AI 处理延迟，使用户有时间反思并同时考虑多个 RQ。
• 用户对生成的 RQ 进行创造力与可信度评分，并提供反馈以优化后续输出。
• 系统利用大语言模型基于文献生成 RQ，并在用户点击 RQ 之间的链接时提供解释（AI Thoughts）。
• 采用被试内实验设计，20 名博士生参与，对比两种交互模式在感知创造力、信任感及控制感等多项目标上的表现。

Figure 1 . CoQuest enables Human-AI co-creation for research questions (RQs) using LLMs through a three-panel design: RQ Flow Editor , Paper Graph Visualizer , and AI Thoughts . Major features of RQ Flow Editor panel include: (a) offering either breadth-first and depth-first RQ generation (see Figur

实验结果

研究问题

• RQ1 广度优先与深度优先的交互设计如何影响用户对 AI 生成研究问题的感知创造力与信任感？
• RQ2 AI 处理延迟如何影响用户的反思、感知控制感以及协同生成的研究问题质量？
• RQ3 认知偏差（如确认偏误）在多大程度上影响用户对 AI 生成 RQ 的感知与评估？
• RQ4 解释功能（AI Thoughts）与 RQ 评分功能如何影响用户参与度，并减少对 AI 的过度依赖？

主要发现

• 尽管在任务过程中参与者认为深度优先方式更具创造性，但任务结束后，他们更倾向于认为广度优先方式更具创造力和可信度。
• AI 处理延迟使用户能够同时反思多个 RQ，从而生成更多 RQ，并增强了其感知控制感。
• 用户表现出确认偏误，当 AI 生成的 RQ 未符合其内在预期时，其感知控制感下降。
• AI Thoughts 功能在等待期间被频繁使用，增强了用户对协同创作过程的理解与感知控制感。
• RQ 评分与解释功能帮助用户主动评估 AI 输出，减少盲目依赖，提升参与度。
• 该系统设计有效缓解了 AI 过度依赖的部分风险，支持用户主动思考，提升协同创作质量。

(a) Feature Design.