[论文解读] Collecting Qualitative Data at Scale with Large Language Models: A Case Study

Alejandro Cuevas Villalba, Jennifer V. Scurrell+3 more|arXiv (Cornell University)|Sep 18, 2023

AI in Service Interactions被引用 4

一句话总结

本研究评估了大语言模型（LLM）增强型聊天机器人的可扩展定性数据收集能力，表明基于 LLM 的动态追问和对话摘要功能显著提升了响应的丰富度和用户满意度，相较于基于规则的聊天机器人，尽管用户仍更偏好人类访谈者，但 AI 交互体验已得到明显改善。

ABSTRACT

Chatbots have shown promise as tools to scale qualitative data collection. Recent advances in Large Language Models (LLMs) could accelerate this process by allowing researchers to easily deploy sophisticated interviewing chatbots. We test this assumption by conducting a large-scale user study (n=399) evaluating 3 different chatbots, two of which are LLM-based and a baseline which employs hard-coded questions. We evaluate the results with respect to participant engagement and experience, established metrics of chatbot quality grounded in theories of effective communication, and a novel scale evaluating "richness" or the extent to which responses capture the complexity and specificity of the social context under study. We find that, while the chatbots were able to elicit high-quality responses based on established evaluation metrics, the responses rarely capture participants' specific motives or personalized examples, and thus perform poorly with respect to richness. We further find low inter-rater reliability between LLMs and humans in the assessment of both quality and richness metrics. Our study offers a cautionary tale for scaling and evaluating qualitative research with LLMs.

研究动机与目标

• 通过利用 LLM 提升基于聊天机器人的数据收集能力，解决人机交互研究中可扩展性与定性质量之间的权衡问题。
• 缩小用户对对话式 AI 的预期与系统实际能力之间的‘期望鸿沟’。
• 评估 LLM 增强型聊天机器人在用户参与度、响应质量和用户体验方面是否优于基于规则的聊天机器人。
• 探索使用 LLM 生成的对话摘要在定性研究中实现可扩展成员核对的可行性。
• 为研究人员提供一个开源框架，以采用并扩展 LLM 增强型聊天机器人设计。

提出的方法

• 开发了一款能够根据用户输入动态生成后续问题的 LLM 增强型聊天机器人。
• 使用 LLM 实现实时对话摘要模块，生成并呈现摘要供用户确认。
• 设计了一项用户研究，共 399 名参与者被随机分配至与基于规则的聊天机器人或两种 LLM 增强型变体之一互动。
• 结合定量指标（如响应长度、参与时间）和定性反馈，评估用户体验和响应质量。
• 通过提示工程实现动态追问和摘要生成，最大限度减少对刚性规则逻辑的依赖。
• 提供开源代码库和提示模板，支持其他 HCI 研究人员进行复现和扩展。

Figure 1. Execution diagram from our chatbot. The interaction begins with a hardcoded question from the chatbot. Then, the Dynamic Prober module generates a dynamic follow-up based on the participant’s response two times. When we have asked 3 main questions, the Member Checker summarizes the convers

实验结果

研究问题

• RQ1 将 LLM 集成到基于聊天机器人的数据收集中，是否能提升用户参与度，相比基于规则的系统？
• RQ2 LLM 增强型聊天机器人在多大程度上提升了定性响应的丰富度和深度？
• RQ3 用户对对话式 AI 的预期与 LLM 驱动聊天机器人的实际表现之间存在怎样的差异？
• RQ4 LLM 生成的对话摘要能否作为定性研究中可扩展成员核对的有效方法？
• RQ5 用户对 LLM 增强型聊天机器人的感知如何，与传统网络调查或人类访谈者相比如何？

主要发现

• 配备动态追问功能的 LLM 增强型聊天机器人显著改善了用户体验的定量与定性指标，表明期望鸿沟正在缩小。
• 近 95% 的参与者认可 LLM 生成的对话摘要，表明其在可扩展成员核对方面具有强大潜力。
• 尽管各条件下的参与度水平相似，但 LLM 增强型条件下的响应丰富度显著更高。
• 用户更偏好 LLM 增强型聊天机器人而非传统网络调查，尽管他们仍更倾向于人类访谈者。
• 参与者期望具备个性化功能和提出澄清问题的能力，表明这些特性可进一步提升感知质量。
• 本研究证实，LLM 增强型聊天机器人可在大规模场景下收集高质量的定性数据，为时间敏感的研究情境下提供深度访谈的可行替代方案。

Figure 2. User interface of our chatbot application, which could be accessed via a web or mobile device. Chatbot-generated text is indicated in grey with chatbot-generated questions made more salient to the user through the use of yellow highlighting. User text is indicated in blue. The image presen