[论文解读] Exploring the Human-LLM Synergy in Advancing Theory-driven Qualitative Analysis

Han Meng, Yitian Yang+4 more|arXiv (Cornell University)|May 9, 2024

Mental Health via Writing被引用 4

一句话总结

本文提出了 CHALET，一种人-大语言模型（LLM）协作框架，通过利用 LLM 进行数据收集、演绎编码以及在分歧案例上的协作归纳编码，增强了基于理论的定性分析。该框架在心理健康污名化研究中的应用揭示了认知、情感和行为维度上的隐性污名化主题，展示了 LLM 在生成超越单纯编码准确性的新颖概念性洞见方面的潜力。

ABSTRACT

Qualitative coding is a demanding yet crucial research method in the field of Human-Computer Interaction (HCI). While recent studies have shown the capability of large language models (LLMs) to perform qualitative coding within theoretical frameworks, their potential for collaborative human-LLM discovery and generation of new insights beyond initial theory remains underexplored. To bridge this gap, we proposed CHALET, a novel approach that harnesses the power of human-LLM partnership to advance theory-driven qualitative analysis by facilitating iterative coding, disagreement analysis, and conceptualization of qualitative data. We demonstrated CHALET's utility by applying it to the qualitative analysis of conversations related to mental-illness stigma, using the attribution model as the theoretical framework. Results highlighted the unique contribution of human-LLM collaboration in uncovering latent themes of stigma across the cognitive, emotional, and behavioral dimensions. We discuss the methodological implications of the human-LLM collaborative approach to theory-based qualitative analysis for the HCI community and beyond.

研究动机与目标

• 解决 LLM 在定性分析中超越基础编码准确性的未被充分探索的潜力。
• 开发一种方法论框架，利用人-LLM 协作在基于理论的研究中生成概念性洞见。
• 研究人类与 LLM 编码差异如何系统性地分析以获得新的理论洞见。
• 通过在心理健康污名归因模型上的应用验证该框架。
• 证明 LLM 可以在定性研究中作出有意义的贡献，不仅提升效率，更能推动更深层次的概念化。

提出的方法

• 利用 LLM 支持的数据收集，以增强自我披露和多维数据收集。
• 由人类和 LLM 双方使用预定义编码方案进行演绎编码，以识别分歧案例。
• 在分歧案例上进行协作归纳编码，以探索不同的解释并推导出新的概念性洞见。
• 系统性地分析人类与 LLM 编码者之间的差异，以揭示潜在主题和理论含义。
• 将 LLM 不作为被动工具，而是作为通过语言细微差别检测和论证模式识别积极参与概念发展的主动贡献者。
• 将 CHALET 框架应用于心理健康污名化的真实案例研究，以验证其有效性。

实验结果

研究问题

• RQ1 如何结构化人-LLM 协作，以超越编码准确性，支持定性研究中的更深层次概念发展？
• RQ2 在归纳分析中，人类与 LLM 编码者之间的哪些分歧类型能揭示有意义的理论洞见？
• RQ3 LLM 在何种方式下能够促进在定性数据中发现隐性污名化主题？
• RQ4 CHALET 框架如何增强社会科学中基于理论的定性分析的严谨性和深度？
• RQ5 LLM 协助的协作编码对人机交互（HCI）及相关领域定性方法学的未来发展有何影响？

主要发现

• CHALET 在心理健康污名化参与者叙述中成功识别出三类总体污名化主题——认知、情感和行为。
• 该框架揭示了诸如内化污名、尴尬、同情疲劳、差别化支持、家长式态度和轻蔑等子主题，展现了复杂的情感与行为反应。
• 人类与 LLM 编码者之间的分歧并非仅仅是错误，而是丰富的洞察来源，尤其在检测与污名相关的感情和语言细微差别方面。
• LLM 展现出识别叙述中潜在论点和情感细微差别的能力，有助于发现此前未被明确表达的污名化机制。
• 在分歧案例上的协作归纳编码过程催生了新的概念性洞见，特别是在涉及心理健康患者的社会互动中的权力动态方面。
• 本研究证明，当通过结构化的人-LLM 协同模型整合时，LLM 可显著增强定性分析的深度和理论丰富性。