[论文解读] Human-AI Collaboration in Thematic Analysis using ChatGPT: A User Study and Design Recommendations

Lixiang Yan, Vanessa Echeverría+6 more|arXiv (Cornell University)|Nov 7, 2023

Computational and Text Analysis Methods被引用 4

一句话总结

本研究探讨了定性研究人员在主题分析中与ChatGPT协作的体验，发现尽管存在信任与准确性的担忧，ChatGPT仍显著提升了编码效率和数据理解能力。研究提出了五项可操作的设计建议，以提升人类-AI协作在定性研究中的透明度、上下文理解能力、反馈回路和验证机制。

ABSTRACT

Generative artificial intelligence (GenAI) offers promising potential for advancing human-AI collaboration in qualitative research. However, existing works focused on conventional machine-learning and pattern-based AI systems, and little is known about how researchers interact with GenAI in qualitative research. This work delves into researchers' perceptions of their collaboration with GenAI, specifically ChatGPT. Through a user study involving ten qualitative researchers, we found ChatGPT to be a valuable collaborator for thematic analysis, enhancing coding efficiency, aiding initial data exploration, offering granular quantitative insights, and assisting comprehension for non-native speakers and non-experts. Yet, concerns about its trustworthiness and accuracy, reliability and consistency, limited contextual understanding, and broader acceptance within the research community persist. We contribute five actionable design recommendations to foster effective human-AI collaboration. These include incorporating transparent explanatory mechanisms, enhancing interface and integration capabilities, prioritising contextual understanding and customisation, embedding human-AI feedback loops and iterative functionality, and strengthening trust through validation mechanisms.

研究动机与目标

• 理解定性研究人员在主题分析中与ChatGPT协作的体验。
• 识别在使用生成式AI进行定性数据编码与主题开发过程中所面临的益处与挑战。
• 基于研究结果提出可操作的设计建议，以改进定性研究工作流中的人机协作。
• 解决在生成式AI辅助主题分析中关于信任、可靠性与上下文理解的担忧。

提出的方法

• 对十名经验丰富的定性研究人员开展用户研究，使用ChatGPT对一段30句对话转录文本进行主题分析。
• 通过半结构化访谈收集定性数据，重点关注用户感知、工作流程整合与面临的挑战。
• 分析反馈以识别与效率、理解能力、信任度及界面限制相关的重复性主题。
• 基于用户洞察与观察到的协作动态，综合提出五项设计建议。
• 聚焦于迭代式、以用户为中心的反馈回路与上下文定制化，以提升AI的响应能力。
• 强调验证机制与透明的解释说明，以增强用户对AI生成结果的信任。

实验结果

研究问题

• RQ1 定性研究人员如何看待其在主题分析过程中与ChatGPT的协作？
• RQ2 研究人员在使用ChatGPT进行编码与主题生成时，体验到哪些益处与挑战？
• RQ3 如何设计人类-AI协作以提升主题分析中的效率、准确性与用户信任？
• RQ4 哪些界面与交互功能最有助于将生成式AI整合到定性研究工作流中？

主要发现

• ChatGPT显著提升了编码效率，并支持初步的数据探索，尤其对非母语者与非专家用户帮助显著。
• 研究人员高度重视ChatGPT生成细致、基于数据的洞察的能力，并认可其通过迭代交互协助主题优化的能力。
• 对AI输出的可靠性与一致性的持续担忧被提出，尤其体现在事实准确性与上下文理解方面。
• 用户强烈需要透明的解释机制，例如覆盖率指标与人类编码的并排对比。
• 当前的ChatGPT界面被认为不适合主题分析，且与现有研究工作流整合度有限。
• 反馈回路与上下文定制化被识别为实现迭代式、用户引导型AI协作的关键要素。