[논문 리뷰] Redefining Qualitative Analysis in the AI Era: Utilizing ChatGPT for Efficient Thematic Analysis

He Zhang, Chuhao Wu외 4명|arXiv (Cornell University)|2023. 09. 19.

Computational and Text Analysis Methods인용 수 62

한 줄 요약

본 논문은 프롬프트 설계가 ChatGPT의 질적 주제 분석 성능을 향상시킬 수 있는지 여부를 연구하고, 효율성과 품질을 개선하기 위한 큐잉 프레임워크를 개발한다. 또한 수용성 및 실용적 지침을 평가하기 위해 파일럿 연구, 실험 및 질적 방법을 결합한다.

ABSTRACT

AI tools, particularly large-scale language model (LLM) based applications such as ChatGPT, have the potential to simplify qualitative research. Through semi-structured interviews with seventeen participants, we identified challenges and concerns in integrating ChatGPT into the qualitative analysis process. Collaborating with thirteen qualitative researchers, we developed a framework for designing prompts to enhance the effectiveness of ChatGPT in thematic analysis. Our findings indicate that improving transparency, providing guidance on prompts, and strengthening users' understanding of LLMs' capabilities significantly enhance the users' ability to interact with ChatGPT. We also discovered and revealed the reasons behind researchers' shift in attitude towards ChatGPT from negative to positive. This research not only highlights the importance of well-designed prompts in LLM applications but also offers reflections for qualitative researchers on the perception of AI's role. Finally, we emphasize the potential ethical risks and the impact of constructing AI ethical expectations by researchers, particularly those who are novices, on future research and AI development.

연구 동기 및 목표

• 질적 연구에서 주제 분석의 노동 집약적 특성을 다룬다.
• 주제 분석 작업을 보강하기 위한 ChatGPT의 잠재력을 검토한다.
• 질적 코딩에서 ChatGPT의 성능을 개선하기 위한 큐잉 프레임워크를 개발한다.
• 질적 분석에서 AI 사용에 대한 연구자의 수용성, 도전과제 및 전략을 평가한다.

제안 방법

• 파일럿 연구, 프롬프트 설계 실험, 사후 연구 설문지의 세 가지 구성요소에 걸친 인터뷰와 실험에 대한 반성적 주제 분석을 수행했다.
• ChatGPT로 생성된 집중 그룹 데이터(원격 근무) 코퍼스를 사용하여 프롬프트와 코딩 성능을 테스트했다.
• 질적 분석가들과 협력하여 ChatGPT 보조 분석을 안내하는 큐잉 프레이임워크를 설계했다.
• 질적 분석 소프트웨어(NVivo, atlas.ti 등)와 AI 보조 방법의 경험을 비교했다.
• 사후 연구 설문에서 기술 수용 모델(TAM)을 적용하여 유용성 및 사용 편의성을 평가했다.
• 참가자와 함께 반복적으로 프롬프트를 설계하여 정확성, 투명성 및 효율성을 향상시키는 전략을 식별했다.

실험 결과

연구 질문

• RQ1 프롬프트 설계를 통해 질적 분석 작업에서 ChatGPT의 성능을 향상시킬 수 있는가? 있다면 어떻게?

주요 결과

• 큐잉 프레임워크가 질적 분석가들과 공동 개발되어 ChatGPT의 주제 분석 기여를 향상시키고 AI를 질적 방법과 더 효과적으로 연결했다.
• 참가자들은 우려에도 불구하고 신속한 데이터 처리, 개요 생성 및 예비 인사이트를 위한 ChatGPT의 이점을 보고했다.
• 주요 우려사항으로는 투명성, 정확성, 프롬프트 설계의 어려움, 프롬프트-생성 결과의 검토가 포함된다.
• 파일럿 및 실험 단계는 자동화 이점과 해석 가능성 및 검증 가능성의 필요성 간의 균형을 강조했다.
• 본 연구는 강력한 AI 보조 질적 분석을 위해 단일 목적의 프롬프트보다 프롬프트 설계 프레임워크의 중요성을 강조한다.