[논문 리뷰] Using ChatGPT for Thematic Analysis

Aleksei Turobov, Diane Coyle외 1명|arXiv (Cornell University)|2024. 05. 13.

Topic Modeling인용 수 28

한 줄 요약

이 논문은 UN 정책 문서의 주제 분석에서 초기 코딩에 사용된 맞춤형 GPT 모델을 시연하고, 주제 모델링으로 검증하며 한계와 위험 완화에 대해 논의한다.

ABSTRACT

The utilisation of AI-driven tools, notably ChatGPT, within academic research is increasingly debated from several perspectives including ease of implementation, and potential enhancements in research efficiency, as against ethical concerns and risks such as biases and unexplained AI operations. This paper explores the use of the GPT model for initial coding in qualitative thematic analysis using a sample of UN policy documents. The primary aim of this study is to contribute to the methodological discussion regarding the integration of AI tools, offering a practical guide to validation for using GPT as a collaborative research assistant. The paper outlines the advantages and limitations of this methodology and suggests strategies to mitigate risks. Emphasising the importance of transparency and reliability in employing GPT within research methodologies, this paper argues for a balanced use of AI in supported thematic analysis, highlighting its potential to elevate research efficacy and outcomes.

연구 동기 및 목표

• 주제 분석에서 초기 코딩을 위한 협업 도구로 GPT 모델 활용 가능성 조사.
• 질적 코딩에 맞춘 맞춤형 GPT 모델(Supported Thematic Analysis. AIxGEO) 개발 및 테스트.
• GPT가 생성한 코드를 수작업 방법 및 주제 모델링(LDA)과 비교 평가.
• AI 보조 주제 분석의 장점, 한계 및 위험 완화 전략 식별.
• 프롬프트, 검증 및 연구 무결성 유지에 대한 실용적 지침 제공.

제안 방법

• 구조화된 주제 분석 워크플로에 맞춘 맞춤형 GPT 모델 개발.
• 적은 학습 예시(Few-Shot Learning), 사고 체인(Chain-of-Thought), 역할 수행(Role-Playing) 프롬프트를 활용해 분석 결과 향상.
• GPT 모델이 익숙해짐, 코딩, 클러스터링, 주제 개발을 안내하는 지식 베이스와 단계별 지시 스크립트 작성.
• UN 정책 문서 및 보도자료(2017–2024년의 63개 문서)에서 파일럿 테스트.
• 잠재 디리에르 할당(LDA) 주제 모델링 결과와 대조하여 GPT 출력 검증.
• 한계를 문서화하고 검증 및 투명성 전략 제안.

실험 결과

연구 질문

• RQ1 연구자들이 출력물을 검증하고 수정할 수 있도록 하면서 GPT 모델이 주제 분석의 초기 코딩을 수행할 수 있는가?
• RQ2 UN 정책 문서에서 GPT 생성 코딩이 전통적 수작업 코딩 및 주제 모델링(LDA)과 어떻게 비교되는가?
• RQ3 주제 분석을 위한 GPT 성능을 향상시키는 프롬프트 및 지식 베이스 디자인은 무엇인가?
• RQ4 AI 보조 주제 분석의 한계와 윤리적 고려사항은 무엇이며 이를 어떻게 완화할 수 있는가?

주요 결과

• 맞춤형 GPT 모델은 63개 UN 정책 문서 및 보도자료(2017년~2024년 3월)에서 700개가 넘는 서로 다른 코드를 생성했다.
• GPT 코딩은 윤리와 거버넌스에서 보안에 이르는 광범위한 AI 관련 주제를 포착하고 UN 담론의 변화를 반영한다.
• GPT 출력은 일반적으로 해석적이기보다 서술적이었으며 때때로 인용 및 코드 명명 오류를 포함하여 수동 검토가 필요했다.
• 주제 모델링(LDA)은 더 폭넓은 추상적 검증 층을 제공하여 GPT 코딩에 보완적인 통찰을 보여주었다.
• 2024년 OpenAI 정책 변경으로 직접 인용이 제한되어 수동 인용 확인이 필요한 패러프라이즈에 의존해야 했다.
• 프롬프트 엔지니어링 및 검증이 있는 균형 잡힌 하이브리드 AI-인간 워크플로우는 엄격함을 유지하면서 효율성을 높일 수 있다.