[论文解读] Large Language Models in Qualitative Research: Uses, Tensions, and Intentions

Hope Schroeder, Marianne Aubin Le Quéré+3 more|arXiv (Cornell University)|Oct 9, 2024

Computational and Text Analysis Methods被引用 6

一句话总结

论文提出 twenty qualitative researchers' perspectives on using large language models (LLMs) in qualitative research, 突出潜在用途、张力，并强调对 LLM 辅助分析的伦理指南和设计原则的需求。

ABSTRACT

Qualitative researchers use tools to collect, sort, and analyze their data. Should qualitative researchers use large language models (LLMs) as part of their practice? LLMs could augment qualitative research, but it is unclear if their use is appropriate, ethical, or aligned with qualitative researchers' goals and values. We interviewed twenty qualitative researchers to investigate these tensions. Many participants see LLMs as promising interlocutors with attractive use cases across the stages of research, but wrestle with their performance and appropriateness. Participants surface concerns regarding the use of LLMs while protecting participant interests, and call attention to an urgent lack of norms and tooling to guide the ethical use of LLMs in research. We document the rapid and broad adoption of LLMs across surfaces, which can interfere with intentional use vital to qualitative research. We use the tensions surfaced by our participants to outline recommendations for researchers considering using LLMs in qualitative research and design principles for LLM-assisted qualitative research tools.

研究动机与目标

• 评估 LLMs 目前如何被纳入定性研究过程，并预测未来的整合。
• 识别在将 LLMs 应用于定性工作中人们感知的收益与损失、张力以及伦理考量。
• 提出用于定性数据分析工具中对 LLMs 的伦理、有效使用的指导与设计原则。

提出的方法

• 在跨学科的定性和混合方法研究人员中进行了 twenty 次半结构化访谈。
• 应用受扎根理论启发的归纳性主题分析，从访谈文本中得出主题。
• 采用与 Dedoose 的协作编码过程，同时将 LLM 的使用限定在文献检索与验证。
• 报告了参与者的做法、担忧及感知的伦理影响，以识别规范与工具缺口。

Figure 1. Current and Envisioned Use Cases for LLMs within the Qualitative Research Process. The figure highlights how participants had previously used and might imagine using LLMs moving forward in their research processes. We also highlight different perspectives and tensions for each use case, wi

实验结果

研究问题

• RQ1 LLMs 当今如何被纳入定性研究过程，以及未来可能如何被整合？
• RQ2 定性研究者认为采用 LLMs 进入其研究过程会带来哪些得失，以及可能出现哪些张力？
• RQ3 将 LLMs 以伦理方式纳入定性研究过程的潜在模型有哪些？

主要发现

• 研究人员将 LLMs 视为在数据收集与分析过程中的有前景的对话者，但担心性能和适宜性。
• 存在关于伦理、不平等的技术采纳、模型偏见和数据隐私的担忧，阻碍了采用。
• 在定性研究中，关于伦理使用 LLM 的规范与工具的紧缺迫在眉睫。
• ChatGPT 主导用户体验并影响对 LLM 能力和伦理考量的认知。
• 一些研究者使用 LLMs 生成招募材料、协助编码或头脑风暴，而另一些则因为数据隐私和深度丧失的担忧而抵制。
• 需要面向未来定性研究者的指南，以及用于基于 LLM 的 QDA 工具的设计原则，以符合定性研究目标。