[論文レビュー] When Qualitative Research Meets Large Language Model: Exploring the Potential of QualiGPT as a Tool for Qualitative Coding

He Zhang, Chuhao Wu+6 more|arXiv (Cornell University)|Jul 20, 2024

Educational Tools and Methods被引用数 8

ひとこと要約

QualiGPT は OpenAI API とプロンプト設計を統合して定性的コーディングを支援し、効率性・透明性・使いやすさを向上させ、シミュレーションデータと実データに対する IRR 評価で手動コーディングと実質的な一致を示している。

ABSTRACT

Qualitative research, renowned for its in-depth exploration of complex phenomena, often involves time-intensive analysis, particularly during the coding stage. Existing software for qualitative evaluation frequently lacks automatic coding capabilities, user-friendliness, and cost-effectiveness. The advent of Large Language Models (LLMs) like GPT-3 and its successors marks a transformative era for enhancing qualitative analysis. This paper introduces QualiGPT, a tool developed to address the challenges associated with using ChatGPT for qualitative analysis. Through a comparative analysis of traditional manual coding and QualiGPT's performance on both simulated and real datasets, incorporating both inductive and deductive coding approaches, we demonstrate that QualiGPT significantly improves the qualitative analysis process. Our findings show that QualiGPT enhances efficiency, transparency, and accessibility in qualitative coding. The tool's performance was evaluated using inter-rater reliability (IRR) measures, with results indicating substantial agreement between human coders and QualiGPT in various coding scenarios. In addition, we also discuss the implications of integrating AI into qualitative research workflows and outline future directions for enhancing human-AI collaboration in this field.

研究の動機と目的

• 定性的コーディングの時間的負荷の大きさと、利用しやすく費用対効果の高いツールの必要性に対処する。
• 統合型でユーザーフレンドリーな AI 支援コーディングツールとして QualiGPT を開発・評価する。
• シミュレーションデータと実データセットを対象に、IRR 指標を用いて手動コーディングと比較した性能を評価する。
• 定性的研究における設計上の考慮事項・データプライバシー・人間とAI の協働を論じる。

提案手法

• プロンプトエンジニアリングに基づく API ベースの定性的分析ツールキットとして QualiGPT を設計・実装する。
• 柔軟な役割ベースの分析のために、Prompt コンポーネント（Task Background、Task Description、Processing Method、Expected Output）を設定する。
• 複数のデータ形式（Word、.txt、.csv、.xlsx）をサポートし、会話データにラベル付きの役割を有効化する。
• Themes、Description、Quotes、Participant Count を含む表形式の結果形式を提供し、CSV エクスポートと全セッションの TXT パッケージ化を実現する。
• 帰納的・演繹的コーディングタスクを横断するケーススタディを通じて、QualiGPT の出力と手動コーディングを比較して性能を評価する。
• ウェブ版 ChatGPT インターフェースと比較して、使いやすさ・プライバシー・性能の改善を示す。

実験結果

リサーチクエスチョン

• RQ1 QualiGPT は、シミュレーションデータと実データに対する定性的コーディングタスクで、手動コーディングと比較してどのように性能を示すか？
• RQ2 帰納的・演繹的コーディングにおいて、IRR（例：Cohen’s kappa）で測定される人間コーダーと QualiGPT の一致度はどの程度か？
• RQ3 LLMs を定性的分析に用いる際、透明性・一貫性・効率を高める設計と使いやすさの考慮事項は何か？
• RQ4 AI 支援定性的分析ツールを使用する際に生じるプライバシーとセキュリティの考慮事項は何か、また QualiGPT はそれらにどう対処するか？

主な発見

• QualiGPT は IRR 指標によって示されるように、さまざまなコーディングシナリオで人間コーダーと実質的な一致を達成した。
• ケーススタディ1では、API へのエントリから CSV 保存までの平均 96.5 秒で分析を完了し、ウェブ ChatGPT ワークフローより速く、エラーが起きにくかった。
• QualiGPT は手動データ処理を減らし、トークン制限の問題を回避し、プロンプトと出力をウェブ版 ChatGPT の使用と比較して合理化する。
• ケーススタディ2の帰納的コーディングタスクは、人間とLLMコーディングの間で Cohen’s kappa が 0.57 となり、注目すべきが完全ではない一致を示した。
• QualiGPT はデータプライバシー管理とエクスポート可能な出力を備えた統合的で使いやすいインターフェースを提供し、従来の CAQDA ツールや自由形式の ChatGPT の使用と比較して使いやすさとアクセス性を向上させる。