[논문 리뷰] Thematic Analysis with Open-Source Generative AI and Machine Learning: A New Method for Inductive Qualitative Codebook Development

Andrew Katz, Gabriella Coloyan Fleming외 1명|arXiv (Cornell University)|2024. 09. 28.

Artificial Intelligence in EducationComputer Science인용 수 3

한 줄 요약

이 논문은 개방형 생성형 AI와 기계학습을 활용해 주제 분석을 위한 정성적 코드북을 인덕티브하게 생성하는 새로운 방법인 GATOS 워크플로우를 소개한다. 이 워크플로우는 알려진 주제적 구조를 가진 합성 데이터셋에서 주제를 신뢰성 있게 식별함으로써, 대규모 사회과학 연구에서 수동 코딩의 확장 가능하고 타당한 대안을 제공한다.

ABSTRACT

This paper aims to answer one central question: to what extent can open-source generative text models be used in a workflow to approximate thematic analysis in social science research? To answer this question, we present the Generative AI-enabled Theme Organization and Structuring (GATOS) workflow, which uses open-source machine learning techniques, natural language processing tools, and generative text models to facilitate thematic analysis. To establish validity of the method, we present three case studies applying the GATOS workflow, leveraging these models and techniques to inductively create codebooks similar to traditional procedures using thematic analysis. Specifically, we investigate the extent to which a workflow comprising open-source models and tools can inductively produce codebooks that approach the known space of themes and sub-themes. To address the challenge of gleaning insights from these texts, we combine open-source generative text models, retrieval-augmented generation, and prompt engineering to identify codes and themes in large volumes of text, i.e., generate a qualitative codebook. The process mimics an inductive coding process that researchers might use in traditional thematic analysis by reading text one unit of analysis at a time, considering existing codes already in the codebook, and then deciding whether or not to generate a new code based on whether the extant codebook provides adequate thematic coverage. We demonstrate this workflow using three synthetic datasets from hypothetical organizational research settings: a study of teammate feedback in teamwork settings, a study of organizational cultures of ethical behavior, and a study of employee perspectives about returning to their offices after the pandemic. We show that the GATOS workflow is able to identify themes in the text that were used to generate the original synthetic datasets.

연구 동기 및 목표

• 개방형 생성형 AI 모델이 사회과학 연구에서 인덕티브 정성적 코드북 개발을 효과적으로 지원할 수 있는지 조사하기 위해.
• 수천 개의 설문 응답이나 수시간에 달하는 인터뷰 녹취록과 같은 대량의 텍스트 데이터를 다룰 때 수동 주제 분석의 확장성 문제를 해결하기 위해.
• 실제 조직 연구 환경을 모방한 합성 데이터셋의 사전에 정의된 주제적 구조와 비교하여 GATOS 워크플로우의 코드북 생성 결과를 검증하기 위해.
• 수동 코딩에 의존도를 줄이고 주제 정확성을 유지하면서도 재현 가능하고 투명하며 비용 효율적인 주제 분석 방법을 확립하기 위해.
• 검색 기반 증강 생성과 프롬프트 엔지니어링의 잠재력을 탐색하여 AI가 생성한 정성적 코드와 주제의 신뢰성과 통일성을 향상시키기 위해.

제안 방법

• GATOS 워크플로우는 개방형 대규모 언어 모델(Large Language Models, LLMs), 자연어 처리(Natural Language Processing, NLP) 도구, 그리고 검색 기반 증강 생성(Retrieval-Augmented Generation, RAG)을 통합하여 인덕티브 코드북 생성을 자동화한다.
• 이 방법은 전통적인 주제 분석과 유사한 단계별 절차를 따르며, 데이터에 대한 익숙해짐, 초안 코드 생성, 주제 식별, 주제 검토 및 개선, 계층적 코드북 생성의 단계를 포함한다.
• 브라운과 클라크의 6단계 주제 분석 프레임워크를 기반으로 한 명확한 지침을 포함한 프롬프트 엔지니어링을 통해 LLM이 구조화된 코딩 및 주제 식별 작업을 수행하도록 이끈다.
• 주제의 두드러짐, 중복성, 연구 질문에 대한 적합성 등을 평가하는 반사 프롬프트를 사용하여 코드의 관련성과 주제의 통일성을 평가한다.
• 최종 코드북의 일관성과 기계 판독 가능성을 확보하기 위해 JSON 형식의 출력 구조를 사용하며, 주제 이름, 기초 개념, 관련 코드, 관계가 포함된다.
• 이 워크플로우는 실제 조직 연구 환경을 모의한 세 가지 합성 데이터셋(동료 피드백, 윤리적 조직 문화, 팬데믹 후 사무실 복귀 관점)에서 테스트되었다.

Figure 1 : Data Generation Process

실험 결과

연구 질문

• RQ1 개방형 생성형 AI 모델은 정성적 연구에서 인간의 인덕티브 주제 분석 과정을 어느 정도 모방할 수 있는가?
• RQ2 GATOS 워크플로우는 합성 데이터셋의 사전에 정의된 주제적 구조와 일치하는 주제와 하위 주제를 신뢰성 있게 식별할 수 있는가?
• RQ3 검색 기반 증강 생성과 프롬프트 엔지니어링의 통합은 AI가 생성한 코드북의 통일성과 주제 정확성을 어떻게 향상시키는가?
• RQ4 GATOS 워크플로우는 다양한 조직 연구 맥락에서 의미 있고 중복이 없는 주제를 식별하는 데 어떤 성능을 보이는가?
• RQ5 대규모 텍스트 코퍼스에 적용했을 때, 전통적 수동 코딩과 비교해 볼 때 이 방법은 확장성, 일관성, 주제 충실도 측면에서 어떻게 다른가?

주요 결과

• GATOS 워크플로우는 생성된 데이터의 알려진 주제적 구조와 거의 일치하는 주제를 세 가지 합성 데이터셋 전부에서 성공적으로 식별했다.
• AI가 생성한 코드북은 통일성과 주제적 관련성을 보였으며, 주제들은 연구 질문과 데이터 맥락을 반영하고 있었다.
• 주제의 두드러짐과 적합성을 평가하는 구조화된 반사 프롬프트 덕분에 중복되거나 불필요한 코드 생성이 효과적으로 줄어들었다.
• 검색 기반 증강 생성의 통합으로 모델이 관련 데이터 개요에 기반한 코드 제안 능력이 향상되어 맥락적 정확성이 향상되었다.
• 워크플로우는 주제와 하위 주제 간의 명확한 관계를 지닌 계층적 코드북을 생성했으며, 전통적으로 개발된 코드북의 구조를 그대로 재현했다.
• 결과적으로, 전문가가 설계한 프롬프트와 NLP 파이프라인에 이르기까지 개방형 생성형 AI는 대규모 정성적 연구에서 수동 주제 코딩의 타당하고 확장 가능한 대안이 될 수 있다.

Figure 2 : Distribution of Simulated Response Lengths for Teammate Feedback