[論文レビュー] QualiGPT: GPT as an easy-to-use tool for qualitative coding

He Zhang, Chuhao Wu+3 more|arXiv (Cornell University)|Oct 10, 2023

Computational and Text Analysis Methods被引用数 18

ひとこと要約

QualiGPT は、定性的研究におけるテーマ分析を簡素化する統合 GPT ベースのツールキットであり、従来の CAQDAs や Web ChatGPT と比較して使いやすさ、透明性、アクセス性を向上させます。

ABSTRACT

Qualitative research delves deeply into individual complex perspectives on technology and various phenomena. However, a meticulous analysis of qualitative data often requires a significant amount of time, especially during the crucial coding stage. Although there is software specifically designed for qualitative evaluation, many of these platforms fall short in terms of automatic coding, intuitive usability, and cost-effectiveness. With the rise of Large Language Models (LLMs) such as GPT-3 and its successors, we are at the forefront of a transformative era for enhancing qualitative analysis. In this paper, we introduce QualiGPT, a specialized tool designed after considering challenges associated with ChatGPT and qualitative analysis. It harnesses the capabilities of the Generative Pretrained Transformer (GPT) and its API for thematic analysis of qualitative data. By comparing traditional manual coding with QualiGPT's analysis on both simulated and actual datasets, we verify that QualiGPT not only refines the qualitative analysis process but also elevates its transparency, credibility, and accessibility. Notably, compared to existing analytical platforms, QualiGPT stands out with its intuitive design, significantly reducing the learning curve and operational barriers for users.

研究の動機と目的

• 定性的分析におけるコーディングに必要な時間と労力を解決する。
• 一般的な ChatGPT の問題を緩和しつつ、GPT を活用したテーマ分析のための使いやすいツールを提供する。
• 使いやすさ、コスト、信頼性の観点から、QualiGPT を従来の定性的分析ソフトウェアおよび ChatGPT のウェブ版と比較する。
• AI 支援の定性的分析の透明性、信頼性、およびアクセス性を向上させる。

提案手法

• GPT API と誘導的テーマ分析のために特化したプロンプトを組み込んだ統合ツールキットとして QualiGPT を開発する。
• 解釈性と追跡可能性を向上させるために、元データを参照する設計のプロンプトを組み込む。
• プロンプトをプリセットとして保存し、プロンプト設計の作業負荷を軽減し、視覚的で使いやすいインターフェースを提供する。
• シミュレーションデータセットと実データセットで QualiGPT を評価し、手動コーディングと比較する。

実験結果

リサーチクエスチョン

• RQ1 QualiGPT は手動法と比較して定性的データのコーディングの時間とコストを削減できるか？
• RQ2 AI 支援の定性的分析において、QualiGPT は透明性と信頼性を向上させるか？
• RQ3 使いやすさと学習曲線の点で、QualiGPT は従来の CAQDAs および Web ChatGPT とどう比較されるか？
• RQ4 設計実践（プロンプト、プリセット、データ参照）は、GPT ベースのテーマ分析の信頼性をどのように高めるか？

主な発見

• QualiGPT は従来のソフトウェアに比べて定性的分析のワークフローを合理化し、学習コストを削減する。
• データ参照と解釈可能な出力を促すことで、透明性と信頼性の懸念に対応する。
• QualiGPT は使いやすさ、プライバシー保護、パフォーマンスの点で、ChatGPT のウェブ版より改善を提供する。
• QualiGPT はより直感的なユーザーインターフェースを提供し、研究者が従来のソフトウェアに比べてコーディングに要する時間を短縮する。