[논문 리뷰] Exploring the Human-LLM Synergy in Advancing Theory-driven Qualitative Analysis

Han Meng, Yitian Yang외 4명|arXiv (Cornell University)|2024. 05. 09.

Mental Health via Writing인용 수 4

한 줄 요약

이 논문은 이론 기반 질적 분석을 향상시키기 위해 LLM을 활용해 데이터 수집, 추론적 코드화, 불일치 사례에 대한 협업형 인덕티브 코드화를 수행하는 인간-LLM 협업 프레임워크인 CHALET을 소개한다. 정신질환에 대한 낙인 연구에 적용된 결과, CHALET는 인지적, 정서적, 행동적 차원에서 암묵적인 낙인화 요소를 파악하였으며, LLM이 순수한 코드 정확도를 넘어서 새로운 개념적 통찰을 생성할 잠재력을 보여주었다.

ABSTRACT

Qualitative coding is a demanding yet crucial research method in the field of Human-Computer Interaction (HCI). While recent studies have shown the capability of large language models (LLMs) to perform qualitative coding within theoretical frameworks, their potential for collaborative human-LLM discovery and generation of new insights beyond initial theory remains underexplored. To bridge this gap, we proposed CHALET, a novel approach that harnesses the power of human-LLM partnership to advance theory-driven qualitative analysis by facilitating iterative coding, disagreement analysis, and conceptualization of qualitative data. We demonstrated CHALET's utility by applying it to the qualitative analysis of conversations related to mental-illness stigma, using the attribution model as the theoretical framework. Results highlighted the unique contribution of human-LLM collaboration in uncovering latent themes of stigma across the cognitive, emotional, and behavioral dimensions. We discuss the methodological implications of the human-LLM collaborative approach to theory-based qualitative analysis for the HCI community and beyond.

연구 동기 및 목표

• LLM의 잠재적 기여가 기본적인 코드 정확도를 넘어서는 질적 분석 향상에 미치는 영향을 탐색하기 위해.
• 이론 기반 연구에서 개념적 통찰 생성을 위해 인간-LLM 협업을 활용하는 방법론적 프레임워크를 개발하기 위해.
• 인간과 LLM 간 코드화 불일치가 체계적으로 분석될 경우 새로운 이론적 통찰을 도출할 수 있는 방법을 탐구하기 위해.
• 정신질환 낙인의 기여 모델에 대한 적용을 통해 프레임워크를 검증하기 위해.
• LLM이 순수한 효율성 향상 이상의 기여를 질적 연구의 깊이 있는 개념화에 기여할 수 있음을 보여주기 위해.

제안 방법

• 자기 기록을 촉진하고 다차원적 데이터 수집을 향상시키기 위해 LLM을 활용한 데이터 수집.
• 사전 정의된 코드 체계를 사용해 인간과 LLM이 이중으로 추론적 코드화를 수행하여 불일치 사례를 식별하기.
• 불일치 사례에 대한 협업형 인덕티브 코드화를 통해 해석의 차이를 탐색하고 새로운 개념적 통찰을 도출하기.
• 인간과 LLM 코드러 간 불일치를 체계적으로 분석하여 잠재된 주제와 이론적 함의를 밝혀내기.
• LLM을 수동적 도구가 아니라 언어적 뉘앙스 탐지와 논증 패tern 인식을 통해 개념 개발에 능동적으로 기여하는 존재로 통합하기.
• CHALET 프레임워크를 실제 사례 연구인 정신질환 낙인에 적용하여 그 효과성을 검증하기.

실험 결과

연구 질문

• RQ1 인간-LLM 협업은 어떻게 구성되어야 하며, 코드 정확도를 넘어서 질적 연구에서 깊이 있는 개념적 발전을 지원할 수 있는가?
• RQ2 인간과 LLM 코드러 간의 불일치는 어떻게 분석되어 인덕티브 접근을 통해 의미 있는 이론적 통찰을 드러내는가?
• RQ3 LLM은 질적 데이터에서 암묵적인 낙인화 주제를 어떻게 탐지할 수 있는가?
• RQ4 CHALET 프레임워크는 사회과학 연구에서 이론 기반 질적 분석의 체계성과 깊이를 어떻게 향상시키는가?
• RQ5 HCI 및 관련 분야에서 LLM 지원 협업 코드화의 미래에 대한 질적 방법론에 대한 함의는 무엇인가?

주요 결과

• CHALET는 정신질환에 대한 참가자 서사에서 인지적, 정서적, 행동적 세 가지 핵심 낙인 주제를 성공적으로 파악하였다.
• 내재된 낙인, 부끄러움, 공감 소진, 차별적 지원, 부모다움의 태도, 경멸 등 하위 주제들이 드러나, 정서적·행동적 반응의 세밀한 양상을 보여주었다.
• 인간과 LLM 코드러 간의 불일치는 오류가 아니라, 특히 낙인과 관련된 정서적·언어적 뉘앙스를 탐지하는 데 풍부한 통찰을 제공하는 자료였다.
• LLM은 서사 속에서 잠재된 논증과 정서적 뉘앙스를 탐지할 수 있었으며, 이는 이전에 표현되지 않은 낙인화 메커니즘의 식별에 기여하였다.
• 불일치 사례에 대한 협업형 인덕티브 코드화 과정을 통해, 정신질환을 앓는 사람들의 사회적 상호작용에서의 권력 관계에 대한 새로운 개념적 통찰이 도출되었다.
• 이 연구는 인간-LLM 상호작용 모델이 체계적으로 통합된 LLM이 질적 분석의 깊이와 이론적 풍부함을 크게 향상시킬 수 있음을 입증한다.