[논문 리뷰] QualiGPT: GPT as an easy-to-use tool for qualitative coding

He Zhang, Chuhao Wu외 3명|arXiv (Cornell University)|2023. 10. 10.

Computational and Text Analysis Methods인용 수 18

한 줄 요약

QualiGPT는 질적 연구에서 주제 분석을 단순화하도록 설계된 통합 GPT 기반 도구상으로, 전통적인 CAQDAs 및 웹 ChatGPT에 비해 사용성, 투명성, 접근성을 향상시킨다.

ABSTRACT

Qualitative research delves deeply into individual complex perspectives on technology and various phenomena. However, a meticulous analysis of qualitative data often requires a significant amount of time, especially during the crucial coding stage. Although there is software specifically designed for qualitative evaluation, many of these platforms fall short in terms of automatic coding, intuitive usability, and cost-effectiveness. With the rise of Large Language Models (LLMs) such as GPT-3 and its successors, we are at the forefront of a transformative era for enhancing qualitative analysis. In this paper, we introduce QualiGPT, a specialized tool designed after considering challenges associated with ChatGPT and qualitative analysis. It harnesses the capabilities of the Generative Pretrained Transformer (GPT) and its API for thematic analysis of qualitative data. By comparing traditional manual coding with QualiGPT's analysis on both simulated and actual datasets, we verify that QualiGPT not only refines the qualitative analysis process but also elevates its transparency, credibility, and accessibility. Notably, compared to existing analytical platforms, QualiGPT stands out with its intuitive design, significantly reducing the learning curve and operational barriers for users.

연구 동기 및 목표

• 질적 분석에서 코딩에 필요한 시간과 노력을 다루기.
• 주제 분석에 GPT를 활용하는 사용자 친화적인 도구를 제공하되 일반적인 ChatGPT 이슈를 완화한다.
• QualiGPT를 전통적인 질적 분석 소프트웨어 및 웹 버전 ChatGPT와 사용성, 비용, 신뢰성 측면에서 비교한다.
• AI 보조 질적 분석의 투명성, 신뢰성 및 접근성을 향상시킨다.

제안 방법

• GPT API 및 유도적 주제 분석에 맞춘 프롬프트를 기반으로 통합 도구킷으로 QualiGPT를 개발한다.
• 해석 가능성과 추적 가능성을 개선하기 위해 원자료를 참조하도록 설계된 프롬프트를 도입한다.
• 프롬프트 디자인 작업 부하를 줄이고 시각적이며 사용자 친화적인 인터페이스를 제공하기 위해 프롬프트를 프리셋으로 저장한다.
• 시뮬레이션 데이터세트와 실제 데이터세트에서 QualiGPT를 평가하고 수동 코딩과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 QualiGPT가 수동 방법과 비교하여 질적 데이터 코딩의 시간과 비용을 줄일 수 있는가?
• RQ2 QualiGPT가 AI 보조 질적 분석에서의 투명성과 신뢰성을 개선하는가?
• RQ3 QualiGPT는 사용성 및 학습 곡선 측면에서 전통적 CAQDAs와 웹 ChatGPT와 어떻게 비교되는가?
• RQ4 주요 설계 관행(프롬프트, 프리셋, 데이터 참조)이 GPT 기반 주제 분석의 신뢰성을 향상시키는가?

주요 결과

• QualiGPT는 질적 분석 워크플로를 간소화하고 전통 소프트웨어에 비해 학습 비용을 줄인다.
• QualiGPT는 데이터 참조 및 해석 가능한 출력에 대한 프롬프트를 통해 투명성과 신뢰성 문제에 대응한다.
• QualiGPT는 웹 버전의 ChatGPT에 비해 사용성, 개인정보 보호 및 성능에서 개선점을 제공한다.
• QualiGPT는 보다 직관적인 사용자 인터페이스를 제공하고 연구자들이 기존 소프트웨어에 비해 코딩 시간을 단축시킨다.