[論文レビュー] Large Language Models in Qualitative Research: Uses, Tensions, and Intentions

Hope Schroeder, Marianne Aubin Le Quéré+3 more|arXiv (Cornell University)|Oct 9, 2024

Computational and Text Analysis Methods被引用数 6

ひとこと要約

この論文は、定性的研究における大規模言語モデル（LLMs）の利用に関する twenty の定性的研究者の視点を提示し、潜在的な用途、葛藤、およびLLM支援分析の倫理ガイドラインと設計原則の必要性を強調している。

ABSTRACT

Qualitative researchers use tools to collect, sort, and analyze their data. Should qualitative researchers use large language models (LLMs) as part of their practice? LLMs could augment qualitative research, but it is unclear if their use is appropriate, ethical, or aligned with qualitative researchers' goals and values. We interviewed twenty qualitative researchers to investigate these tensions. Many participants see LLMs as promising interlocutors with attractive use cases across the stages of research, but wrestle with their performance and appropriateness. Participants surface concerns regarding the use of LLMs while protecting participant interests, and call attention to an urgent lack of norms and tooling to guide the ethical use of LLMs in research. We document the rapid and broad adoption of LLMs across surfaces, which can interfere with intentional use vital to qualitative research. We use the tensions surfaced by our participants to outline recommendations for researchers considering using LLMs in qualitative research and design principles for LLM-assisted qualitative research tools.

研究の動機と目的

• LLMs が現在どのように定性的研究プロセスに採用されているかを評価し、今後の取り込みを予測する。
• 定性的作業におけるLLMs の採用に対する認識される利点と損失、緊張、および倫理的考慮事項を特定する。
• 定性的データ分析ツールにおける倫理的で効果的なLLMs の使用のためのガイダンスと設計原則を提案する。

提案手法

• 学際的な定性的および混合研究法の研究者を対象に twenty 回の半構造化インタビューを実施した。
• インタビュー記録からテーマを導くために、グラウンデッド・セオリーに触発された帰納的テーマ分析を適用した。
• Dedoose を用いた協働コード化プロセスを採用し、LLM の使用を文献検索と検証に限定した。
• 参加者の実践、懸念、および認識される倫理的影響を報告し、規範とツール不足を特定した。

Figure 1. Current and Envisioned Use Cases for LLMs within the Qualitative Research Process. The figure highlights how participants had previously used and might imagine using LLMs moving forward in their research processes. We also highlight different perspectives and tensions for each use case, wi

実験結果

リサーチクエスチョン

• RQ1 LLMs は現在どのように定性的研究プロセスに採用されており、将来どのように取り入れられる可能性があるか？
• RQ2 定性的研究者は、LLMs を研究プロセスに採用することによって何を失い、何を得ると述べており、どのような緊張が生じ得るか？
• RQ3 定性的研究プロセスへの倫理的なLLMs の組み込みの潜在的なモデルは何か？

主な発見

• 研究者はLLMsをデータ収集と分析の有望な相手として捉える一方で、性能と適切性について懸念している。
• 倫理、技術の不平等な採用、モデルの偏り、データのプライバシーに関する懸念が採用を妨げている。
• 定性的研究における倫理的なLLM使用を指針づける規範とツールの不足が緊急の課題である。
• ChatGPT がユーザー体験を支配し、LLM の能力と倫理的検討に対する認識を色づけている。
• 一部の研究者はLLMsを募集資料の作成、コーディングの支援、ブレインストーミングに用いている一方で、データプライバシーと深さの喪失に関する懸念から抵抗する者もいる。
• 将来の定性的研究者向けのガイドラインと、LLMベースのQDAツールの設計原則は、定性的目的と整合させるために必要である。