[논문 리뷰] When Qualitative Research Meets Large Language Model: Exploring the Potential of QualiGPT as a Tool for Qualitative Coding

He Zhang, Chuhao Wu외 6명|arXiv (Cornell University)|2024. 07. 20.

Educational Tools and Methods인용 수 8

한 줄 요약

QualiGPT는 OpenAI API와 프롬프트 엔지니어링을 통해 질적 코딩을 보조하여 효율성, 투명성 및 사용성을 개선하고, 시뮬레이션 및 실제 데이터에서 IRR 평가에 의해 수동 코딩과 상당한 일치를 보임.

ABSTRACT

Qualitative research, renowned for its in-depth exploration of complex phenomena, often involves time-intensive analysis, particularly during the coding stage. Existing software for qualitative evaluation frequently lacks automatic coding capabilities, user-friendliness, and cost-effectiveness. The advent of Large Language Models (LLMs) like GPT-3 and its successors marks a transformative era for enhancing qualitative analysis. This paper introduces QualiGPT, a tool developed to address the challenges associated with using ChatGPT for qualitative analysis. Through a comparative analysis of traditional manual coding and QualiGPT's performance on both simulated and real datasets, incorporating both inductive and deductive coding approaches, we demonstrate that QualiGPT significantly improves the qualitative analysis process. Our findings show that QualiGPT enhances efficiency, transparency, and accessibility in qualitative coding. The tool's performance was evaluated using inter-rater reliability (IRR) measures, with results indicating substantial agreement between human coders and QualiGPT in various coding scenarios. In addition, we also discuss the implications of integrating AI into qualitative research workflows and outline future directions for enhancing human-AI collaboration in this field.

연구 동기 및 목표

• 질적 코딩의 시간 소모 문제와 접근 가능하고 비용 효율적인 도구의 필요성을 다룬다.
• 통합되고 사용하기 쉬운 AI 보조 코딩 도구로서 QualiGPT를 개발하고 평가한다.
• 시뮬레이션 데이터와 실제 데이터셋에 걸쳐 IRR 지표를 사용하여 수동 코딩과의 성능을 평가한다.
• 질적 연구에서의 설계 고려사항, 데이터 프라이버시, 인간-인공지능 협업에 대해 논의한다.

제안 방법

• 프롬프트 엔지니어링을 기반으로 API 기반 질적 분석 도구로서 QualiGPT를 설계하고 구현한다.
• טח Prompt 구성 요소( Task Background, Task Description, Processing Method, Expected Output )를 구성하여 유연하고 역할 기반 분석을 가능하게 한다.
• 다양한 데이터 형식(Word, .txt, .csv, .xlsx)을 지원하고 대화 데이터에 대한 라벨이 지정된 역할을 가능하게 한다.
• Themes, Description, Quotes, and Participant Count를 포함한 표 형식의 결과를 제공하고 CSV 내보내기 및 전체 세션 TXT 패키징을 지원한다.
• 수동 코딩과 비교한 케이스 스터디를 통해 QualiGPT 출력의 성능을 평가한다.
• 웹 ChatGPT 인터페이스에 비해 사용성, 개인정보 보호 및 성능의 개선을 시연한다.

실험 결과

연구 질문

• RQ1 QualiGPT는 시뮬레이션 데이터와 실제 데이터에서 수동 코딩과 비교하여 질적 코딩 작업에서 어떤 성능을 보이는가?
• RQ2 인간 코더와 QualiGPT 간의 IRR(예: Cohen’s kappa) 측정에서 귀납적 및 연역적 코딩의 일치 정도는 어느 수준인가?
• RQ3 LLM을 질적 분석에 사용할 때 투명성, 일관성 및 효율성을 높이는 설계 및 사용성 고려사항은 무엇인가?
• RQ4 AI 보조 질적 분석 도구를 사용할 때의 개인정보 및 보안 고려사항은 무엇이며, QualiGPT는 이를 어떻게 다루는가?

주요 결과

• QualiGPT는 IRR 측정으로 나타난 다양한 코딩 시나리오에서 인간 코더와의 상당한 일치를 달성했다.
• Case Study 1에서 QualiGPT는 API 입력에서 CSV 저장까지 평균 96.5초의 분석을 완료했고, 웹 ChatGPT 워크플로우보다 빠르고 오류 가능성이 적었다.
• QualiGPT는 수동 데이터 처리 감소, 토큰 제한 문제 회피, 웹 버전의 ChatGPT를 사용할 때의 프롬프트 및 출력 간소화를 실현한다.
• Case Study 2의 귀납적 코딩 작업에서 인간과 LLM 코딩 간 Cohen’s kappa는 0.57로, 주목할 만하지만 완벽한 일치는 아니었다.
• QualiGPT는 데이터 프라이버시 제어 및 내보내기 가능한 출력을 갖춘 통합적이고 사용자 친화적인 인터페이스를 제공하여, 기존 CAQDA 도구 및 자유형 ChatGPT 사용보다 사용성 및 접근성을 개선한다.