[논문 리뷰] LLM-in-the-loop: Leveraging Large Language Model for Thematic Analysis

Shih-Chieh Dai, Aiping Xiong외 1명|arXiv (Cornell University)|2023. 10. 23.

Computational and Text Analysis Methods인용 수 7

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)인 GPT-3.5를 인간 코드러와 통합하여 정성적 연구에서 주제 분석(Thematic Analysis, TA)을 간소화하는 LLM-in-the-loop 프레임워크를 제안한다. 맥락 내 학습과 반복적 토론 프롬프트를 활용하여 인간-LLM 간 일치도 κ = 0.87(음악 섞기) 및 κ = 0.81(비밀번호 관리자)를 기록한 고품질 코드북을 생성하며, 인간 전용 성능과 동일하거나 이를 초월하면서도 노동력과 시간 소모를 줄였다.

ABSTRACT

Thematic analysis (TA) has been widely used for analyzing qualitative data in many disciplines and fields. To ensure reliable analysis, the same piece of data is typically assigned to at least two human coders. Moreover, to produce meaningful and useful analysis, human coders develop and deepen their data interpretation and coding over multiple iterations, making TA labor-intensive and time-consuming. Recently the emerging field of large language models (LLMs) research has shown that LLMs have the potential replicate human-like behavior in various tasks: in particular, LLMs outperform crowd workers on text-annotation tasks, suggesting an opportunity to leverage LLMs on TA. We propose a human-LLM collaboration framework (i.e., LLM-in-the-loop) to conduct TA with in-context learning (ICL). This framework provides the prompt to frame discussions with a LLM (e.g., GPT-3.5) to generate the final codebook for TA. We demonstrate the utility of this framework using survey datasets on the aspects of the music listening experience and the usage of a password manager. Results of the two case studies show that the proposed framework yields similar coding quality to that of human coders but reduces TA's labor and time demands.

연구 동기 및 목표

• 기존 주제 분석(TA)이 다수의 인간 코드러를 필요로 하여 노동력과 시간을 많이 소모하는 문제를 해결하기 위해.
• 대규모 언어 모델(LLMs)이 주제 분석에서 인간 코드러를 효과적으로 지원하거나 대체할 수 있는지 탐색하기 위해.
• 구조화된 토론 프롬프트를 통해 반복적인 개선이 가능한 인간-LLM 협업 프레임워크를 설계하기 위해.
• 입력 길이 제한 문제를 해결하기 위해 전체 데이터가 아닌 부분 데이터를 사용하여 코드북 개발을 수행하면서도 품질을 유지하기 위해.
• 실제 설문 조사 데이터셋을 대상으로 프레임워크를 검증하여 인간 전용 TA와 비교해 타당성과 성능을 입증하기 위해.

제안 방법

• 프레임워크는 맥락 내 학습(In-Context Learning, ICL)을 활용하여 주제 분석의 각 단계—초기 코드 추출부터 코드북 정련까지—를 LLM이 안내하도록 한다.
• 인간 코드러와 LLM이 사전 정의된 프롬프트를 사용해 루프형 토론을 반복적으로 수행하며, 대표적인 코드와 주제에 대해 일치를 도출하고 정교화한다.
• LLM은 연구 질문을 바탕으로 자유형 응답에서 초깃코드를 생성한 후, 유사한 코드를 주제적 범주로 묶는다.
• 프레임워크는 두 단계 과정을 적용한다: 입력 길이를 관리하기 위해 일부 데이터를 사용해 코드북 생성 → 이후 샘플된 응답에 대해 최종 코드화 및 내부 코드러 간 일치도(IAA) 계산.
• 브라운과 클라크(2006)의 TA 절차—익숙해지기, 初기 코드화, 주제 개발, 검토—의 각 단계에 맞게 특화된 프롬프트를 설계한다.
• GPT-3.5를 기계적 코드러(MC)로 활용하고, 인간 코드러(HCs)는 출력물의 검증과 정교화를 통해 연구 목표와 데이터 의미론에 부합함을 보장한다.

Figure 1: Workflow of the LLM-in-the-Loop Framework.

실험 결과

연구 질문

• RQ1 대규모 언어 모델(LLM)이 인간 코드러와 함께 또는 대체하여 주제 분석에서 효과적으로 기여할 수 있는가?
• RQ2 높은 품질의 신뢰성 있는 코드북 생성을 위해 인간-LLM 협업 프레임워크는 어떻게 설계되어야 하는가?
• RQ3 LLM 통합이 기존 인간 전용 코드화와 비교해 상호 코드러 간 일치도(IAA)에 어떤 영향을 미치는가?
• RQ4 긴 정성적 데이터셋을 처리할 때 LLM의 입력 길이 제한 문제는 어떻게 해결할 수 있는가?
• RQ5 맥락 내 학습과 반복적 토론 프롬프트의 사용이 주제 분석에서 코드북의 품질과 일관성을 향상시키는가?

주요 결과

• 음악 섞기 사례 연구에서 LLM-in-the-loop 프레임워크는 가중 카프라의 코hen의 카파 κ = 0.87을 기록했으며, 원래 인간 전용 일치도(κ = 0.66)를 초월했다.
• 비밀번호 관리자 사례 연구에서 프레임워크는 카파 κ = 0.81을 기록했으며, 원래 인간 전용 일치도(κ = 0.77)를 초월했다.
• 인간-LLM 협업을 통해 생성된 코드북은 원래 인간이 생성한 코드북과 높은 의미적 유사도(코사인 유사도 0.8864 및 0.8895)를 보였다.
• 프레임워크는 초깃코드 자동화와 인간-LLM 간 효율적 토론을 통해 주제 분석에 소요되는 시간과 노동력을 크게 감소시켰다.
• LLM의 입력 길이 제약 문제를 해결하기 위해 부분 데이터를 사용한 코드북 개발 방식은 품질에 유의미한 하락 없이 타당한 해결책으로 확인되었다.
• 주제 분석의 본질적 주관성에도 불구하고, 반복적 토론 과정을 통해 인간과 LLM 코드러 간 편향을 줄이고 일관성을 향상시켰다.

Figure 2: An exemplar for initial code extraction. Green depicts the quoted sentence, blue indicates the definition of a code, and red represents the code.