[論文レビュー] Exploring the Human-LLM Synergy in Advancing Theory-driven Qualitative Analysis

Han Meng, Yitian Yang+4 more|arXiv (Cornell University)|May 9, 2024

Mental Health via Writing被引用数 4

ひとこと要約

本稿では、LLMを用いてデータ収集、帰納的コード化、不一致事例における共同インダクティブコード化を支援することで、理論駆動型定性的分析を強化する人間-LLM協働フレームワークCHALETを紹介する。精神疾患への偏見に応用した結果、認知的・感情的・行動的次元における隠れた偏見のテーマを同定し、LLMが単なるコード精度を超えて、新たな概念的知見を生み出す可能性を示した。

ABSTRACT

Qualitative coding is a demanding yet crucial research method in the field of Human-Computer Interaction (HCI). While recent studies have shown the capability of large language models (LLMs) to perform qualitative coding within theoretical frameworks, their potential for collaborative human-LLM discovery and generation of new insights beyond initial theory remains underexplored. To bridge this gap, we proposed CHALET, a novel approach that harnesses the power of human-LLM partnership to advance theory-driven qualitative analysis by facilitating iterative coding, disagreement analysis, and conceptualization of qualitative data. We demonstrated CHALET's utility by applying it to the qualitative analysis of conversations related to mental-illness stigma, using the attribution model as the theoretical framework. Results highlighted the unique contribution of human-LLM collaboration in uncovering latent themes of stigma across the cognitive, emotional, and behavioral dimensions. We discuss the methodological implications of the human-LLM collaborative approach to theory-based qualitative analysis for the HCI community and beyond.

研究の動機と目的

• LLMの定性的分析における基本的なコード精度を超えた、未だ十分に探査されていない可能性を解明すること。
• 理論駆動研究における概念的知見生成に向けた人間-LLM協働を活用する手法的フレームワークの開発。
• 人間とLLMのコードの不一致を体系的に分析することで、新たな理論的知見を導出する方法の解明。
• 精神疾患への偏見の帰属モデルへの応用を通じて、フレームワークの妥当性を検証すること。
• LLMが定性的研究における単なる効率化を超えて、より深い概念的把握に貢献できることを示すこと。

提案手法

• 自己開示を促進し、多次元的データ収集を可能にするLLM支援型データ収集。
• 事前に定義されたコード体系を用いて、人間とLLMの両方が帰納的コード化を実施し、不一致事例を特定。
• 不一致事例における共同インダクティブコード化を通じて、解釈の相違を探索し、新たな概念的知見を導出。
• 人間とLLMのコードの不一致を体系的に定性的分析し、潜在的テーマと理論的含意を解明。
• LLMを受動的なツールとしてではなく、言語的ニュアンスの検出や議論パターン認識を通じて、概念的発展に能動的に貢献する存在として統合。
• CHALETフレームワークを精神疾患への偏見に関する事例研究に適用し、その有効性を検証。

実験結果

リサーチクエスチョン

• RQ1 人間-LLM協働をどのように構造化すれば、コード精度を超えて定性的研究におけるより深い概念的発展を支援できるか？
• RQ2 人間とLLMのコードの不一致をインダクティブに分析することで、どのような意味のある理論的知見が明らかになるか？
• RQ3 LLMはどのようにして定性的データにおける隠れた偏見のテーマを発見に貢献できるか？
• RQ4 CHALETフレームワークは、社会科学研究における理論駆動型定性的分析の厳密さと深さをどのように向上させるか？
• RQ5 LLM支援型共同コード化は、HCIおよび関連分野における定性的研究手法の今後のあり方にとって、どのような意味を持つのか？

主な発見

• CHALETは、精神疾患に関する参加者ナラティブにおいて、認知的・感情的・行動的次元の3つの包括的テーマを効果的に同定した。
• フレームワークは、自己内面化された偏見、恥ずかしさ、共感の枯渇、差別の的支援、保護的態度、軽蔑的態度といったサブテーマを明らかにし、感情的・行動的反応の洗練された側面を示した。
• 人間とLLMのコードの不一致は単なる誤りではなく、特に偏見関連の感情的・言語的ニュアンスを検出するうえで、豊かな知見の源となった。
• LLMは、ナラティブ内に隠れた主張や感情的ニュアンスを検出する能力を示し、これまで明示されていなかった偏見のメカニズムの同定に貢献した。
• 不一致事例における共同インダクティブコード化プロセスを通じて、精神疾患を有する人々をめぐる社会的相互作用におけるパワー・ダイナミクスに関する、新たな概念的知見が生まれた。
• 本研究は、構造的な人間-LLM連携モデルを通じて統合されたLLMが、定性的分析の深さと理論的豊かさを著しく向上させられることを示した。