[論文レビュー] Large Language Models for Large-Scale, Rigorous Qualitative Analysis in Applied Health Services Research

Sasha Ronaghi, Emma‐Louise Aveling+4 more|arXiv (Cornell University)|Jan 20, 2026

Health Policy Implementation Science被引用数 0

ひとこと要約

要約: 本論文は、マルチサイトの質的ヘルスサービス研究に大規模言語モデルを統合するタスク特化型のヒューマン–LLMフレームワークを提案し、フィードバックレポートの質的統合と介入を洗練させるための演繹的コーディングという二つのタスクで分析的厳密さを保ちつつ効率性の向上を実証する。

ABSTRACT

Large language models (LLMs) show promise for improving the efficiency of qualitative analysis in large, multi-site health-services research. Yet methodological guidance for LLM integration into qualitative analysis and evidence of their impact on real-world research methods and outcomes remain limited. We developed a model- and task-agnostic framework for designing human-LLM qualitative analysis methods to support diverse analytic aims. Within a multi-site study of diabetes care at Federally Qualified Health Centers (FQHCs), we leveraged the framework to implement human-LLM methods for (1) qualitative synthesis of researcher-generated summaries to produce comparative feedback reports and (2) deductive coding of 167 interview transcripts to refine a practice-transformation intervention. LLM assistance enabled timely feedback to practitioners and the incorporation of large-scale qualitative data to inform theory and practice changes. This work demonstrates how LLMs can be integrated into applied health-services research to enhance efficiency while preserving rigor, offering guidance for continued innovation with LLMs in qualitative research.

研究の動機と目的

• 応用ヘルスサービス研究におけるヒューマン–LLM質的分析手法のタスク別・モデル非依存のフレームワークを開発する。
• 12のFederally Qualified Health Centers (FQHCs)にわたる多施設糖尿病ケア研究を通じてフレームワークを実証する。
• LLMsを用いて(a) 比較サイトレベルのフィードバックレポートを生成し、(b) 実践変革介入を洗練させるための演繹的コーディングを実施する。
• LLM支援分析が実世界の研究における効率性、厳密さ、解釈的統制に与える影響を評価する。

提案手法

• タスクを定義する: 小規模データサンプルで目標、出力、必要な研究者の関与を明確化する。
• ヒューマン–LLM手法を設計する: タスクを分解し、目的を特定し、各部の人間/AI構成を検証する。
• 小規模データで方法を評価する: タスク固有の厳密さ基準（根拠付け、理論データ統合、関連性）を用いて、LLMs有無で出力を比較する。
• より大きなデータセット上で完全タスクに方法を適用・評価し、効率と研究目標への影響を評価する。
• タスク1: 22のケア領域にわたる比較サイトレベルの要約を生成する質的統合。few-shotプロンプトと領域定義を用いてサイトデータをテーマに整理し、サイト間統合にLLMを用いる。
• タスク2: 糖尿病ケア介入を洗練させる演繹的質的コーディングを実施するため、埋め込みベースの検索と構造化サブクエスチョンアプローチを用いたRetrieval-Augmented Generation (RAG)で要出力をコード化し引用を生成する。

Figure 1: The framework we developed and applied for developing task-specific human-LLM qualitative analysis methods.

実験結果

リサーチクエスチョン

• RQ1 タスク特有のヒューマン–LLM手法をどのように設計すれば大規模質的ヘルスサービス研究における厳密さを維持しつつ効率を向上させられるか？
• RQ2 LLMsはデータを整理し、要約やコーディング出力を作成して研究者の解釈分析を支援することができるのか、それを置換することなく実現できるのか？
• RQ3 LLM支援質的分析が時間効率と介入洗練の現場での実務影響にどのように及ぶか（多施設糖尿病ケア研究）？

主な発見

• LLMsはサイトレベルの要約をテーマ別に整理でき、比較的なフィードバックレポートのドラフト作成時間を小規模試験で最大30–55%短縮できる。
• LLM支援出力は、統合タスクの質において手動の質的整理に匹敵する品質を示すが、実行性と領域定義との整合性を確保するためには研究者の解釈が必要。
• LLMsは埋め込みベースの検索を用いたRAGを通じて大規模な転写の演繹的コーディングを支援できるが、研究者が検証・文脈付けしないと出力は深さや文脈を欠く場合がある。
• 人間–LLMの協働は解釈的統制を保ち、研究者が最終判断を保持することで出力がデータと分析目標に結びついたままになる。
• このフレームワークは19の実践分野コードへの167の転写を効率的に取り込み、8つの追加サイトでの実装の介入 refined を支援する。
• 生データへのアクセスとLLM生成結果の透明性・信頼性・反省性・偏り評価を維持するための慎重な設計と設計の透明性の確保が必要である。

Figure 2: Illustrative differences in cross-site synthesis output by human and LLM (independently) for telehealth and appointment management themes within the “Information and Communication Technology” domain