[논문 리뷰] Can Large Language Models emulate an inductive Thematic Analysis of semi-structured interviews? An exploration and provocation on the limits of the approach and the model

Stefano De Paoli|arXiv (Cornell University)|2023. 05. 22.

Computational and Text Analysis Methods인용 수 12

한 줄 요약

본 논문은 GPT-3.5-Turbo를 활용하여 반구조화된 인터뷰 데이터에서 귀납적 주제 분석의 일부를 모방하려 시도하고, LLM으로 재현될 수 있는 것과 그렇지 못한 것을 논의한다.

ABSTRACT

Large Language Models (LLMs) have emerged as powerful generative Artificial Intelligence solutions which can be applied to several fields and areas of work. This paper presents results and reflection of an experiment done to use the model GPT 3.5-Turbo to emulate some aspects of an inductive Thematic Analysis. Previous research on this subject has largely worked on conducting deductive analysis. Thematic Analysis is a qualitative method for analysis commonly used in social sciences and it is based on interpretations made by the human analyst(s) and the identification of explicit and latent meanings in qualitative data. Attempting an analysis based on human interpretation with an LLM clearly is a provocation but also a way to learn something about how these systems can or cannot be used in qualitative research. The paper presents the motivations for attempting this emulation, it reflects on how the six steps to a Thematic Analysis proposed by Braun and Clarke can at least partially be reproduced with the LLM and it also reflects on what are the outputs produced by the model. The paper used two existing datasets of open access semi-structured interviews, previously analysed with Thematic Analysis by other researchers. It used the previously produced analysis (and the related themes) to compare with the results produced by the LLM. The results show that the model can infer at least partially some of the main Themes. The objective of the paper is not to replace human analysts in qualitative analysis but to learn if some elements of LLM data manipulation can to an extent be of support for qualitative research.

연구 동기 및 목표

• LLM으로 귀납적 주제 분석을 모방하려는 시도를 동기 부여하고 정당화한다.
• 브런과 클라크의 여섯 단계 주제 분석의 요소를 LLM이 재현할 수 있는지 조사한다.
• 질적 연구 맥락에서 LLM의 산출물과 한계에 대해 성찰한다.

제안 방법

• 다른 연구자들이 이미 주제 분석으로 분석한 두 개의 기존 공개 접근 반구조화 인터뷰 데이터셋을 사용한다.
• 이 데이터셋들에 대해 귀납적 주제 분석의 측면을 모방하기 위해 GPT-3.5-Turbo를 적용한다.
• LLM에서 도출된 주제들을 이전에 산출된 분석 및 주제와 비교하여 부분 정렬성을 평가한다.
• 모델이 산출하는 산출물의 특성과 이것이 질적 연구 실천에 시사하는 바를 논의한다.

실험 결과

연구 질문

• RQ1 LLM이 선행된 반구조화 인터뷰의 주제 분석에서 식별된 주요 주제를 추론할 수 있는가?
• RQ2 Braun and Clarke의 여섯 단계 주제 분석을 LLM이 어느 정도 재현하거나 근사할 수 있는가?
• RQ3 질적 연구를 지원하기 위해 LLM 생성 산출물을 사용할 때의 강점과 한계는 무엇인가?

주요 결과

• LLM은 데이터세트의 주요 주제 중 일부를 부분적으로 추론할 수 있다.
• 본 연구는 질적 연구 작업에서 LLM의 잠재적 지원과 주목할 만한 한계를 모두 강조한다.
• 목표는 인간 분석가를 대체하는 것이 아니라 LLM 데이터 조작 요소가 질적 연구에 어떻게 도움이 될 수 있는지 탐구하는 것이다.
• 분석은 LLM이 어떻게 귀납적 주제 분석에 기여하거나 이를 복잡하게 만들 수 있는지에 대해 성찰을 촉발한다.