[논문 리뷰] Human-AI Collaboration in Thematic Analysis using ChatGPT: A User Study and Design Recommendations

Lixiang Yan, Vanessa Echeverría외 6명|arXiv (Cornell University)|2023. 11. 07.

Computational and Text Analysis Methods인용 수 4

한 줄 요약

이 연구는 정성적 연구자가 테마 분석 과정에서 ChatGPT와 어떻게 협업하는지 조사하며, 신뢰성과 정확성에 대한 우려에도 불구하고 코딩 효율성과 데이터 이해도 향상에 기여함을 발견한다. 연구는 투명성, 맥락 이해도, 피드백 루프, 검증 기반 향상을 위한 다섯 가지 실행 가능한 설계 권고안을 제안한다.

ABSTRACT

Generative artificial intelligence (GenAI) offers promising potential for advancing human-AI collaboration in qualitative research. However, existing works focused on conventional machine-learning and pattern-based AI systems, and little is known about how researchers interact with GenAI in qualitative research. This work delves into researchers' perceptions of their collaboration with GenAI, specifically ChatGPT. Through a user study involving ten qualitative researchers, we found ChatGPT to be a valuable collaborator for thematic analysis, enhancing coding efficiency, aiding initial data exploration, offering granular quantitative insights, and assisting comprehension for non-native speakers and non-experts. Yet, concerns about its trustworthiness and accuracy, reliability and consistency, limited contextual understanding, and broader acceptance within the research community persist. We contribute five actionable design recommendations to foster effective human-AI collaboration. These include incorporating transparent explanatory mechanisms, enhancing interface and integration capabilities, prioritising contextual understanding and customisation, embedding human-AI feedback loops and iterative functionality, and strengthening trust through validation mechanisms.

연구 동기 및 목표

• 정성적 연구자가 테마 분석 과정에서 ChatGPT와 협업하는 경험을 이해하기 위해.
• 생성형 AI를 활용한 정성적 데이터 코딩 및 테마 개발 과정에서의 이점과 과제를 특정하기 위해.
• 정성적 연구 워크플로우에서 인간-AI 협업을 향상시키기 위한 실행 가능한 설계 권고안을 도출하기 위해.
• 생성형 AI를 활용한 테마 분석에서의 신뢰성, 안정성, 맥락 이해도에 대한 우려를 다루기 위해.

제안 방법

• 30개의 발언을 포함한 인터뷰 원고를 대상으로 10명의 경험이 풍부한 정성적 연구자들을 대상으로 사용자 연구를 수행하여 ChatGPT를 활용한 테마 분석을 수행하였다.
• 사용자 인식, 워크플로우 통합, 과제에 중점을 두고 반구조화된 인터뷰를 통해 정성적 데이터를 수집하였다.
• 피드백을 분석하여 효율성, 이해도, 신뢰성, 인터페이스 제약 등 반복적인 주제를 특정하였다.
• 사용자 통찰과 관찰된 협업 역학을 바탕으로 다섯 가지 설계 권고안을 통합하였다.
• 반복적이고 사용자 중심의 피드백 루프 및 맥락 기반 맞춤화를 통해 AI의 반응성 향상을 중점으로 하였다.
• 사용자 신뢰를 제고하기 위해 검증 메커니즘과 투명한 설명을 강조하였다.

실험 결과

연구 질문

• RQ1 정성적 연구자가 테마 분석 과정에서 ChatGPT와 협업하는 데 대해 어떻게 인식하고 있는가?
• RQ2 연구자가 ChatGPT를 사용하여 코딩 및 테마 생성을 수행할 때 경험하는 이점과 과제는 무엇인가?
• RQ3 테마 분석에서 인간-AI 협업을 어떻게 설계하여 효율성, 정확성, 사용자 신뢰를 향상시킬 수 있는가?
• RQ4 정성적 연구 워크플로우에 생성형 AI를 통합하는 데 있어 가장 유용한 인터페이스 및 상호작용 기능은 무엇인가?

주요 결과

• ChatGPT는 코딩 효율성 향상과 초기 데이터 탐색을 지원하여 특히 비모국어 사용자와 전문가가 아닌 이들에게 유용했다.
• 연구자들은 ChatGPT가 세분화되고 데이터 기반의 통찰을 생성하며 반복적 상호작용을 통해 테마 정제를 지원하는 능력을 높이 평가했다.
• 지속적인 우려는 AI 출력의 신뢰성과 일관성, 특히 사실 정확성과 맥락 이해도에 대한 것이었다.
• 사용자들은 설명 메커니즘의 투명성, 예를 들어 커버리지 지표나 인간 코딩과의 병렬 비교 기능이 매우 중요하다고 느꼈다.
• 현재 ChatGPT 인터페이스는 테마 분석에 최적화되어 있지 않으며 기존 연구 워크플로우에 통합이 제한적이라는 평가를 받았다.
• 피드백 루프와 맥락 기반 맞춤화는 반복적이고 사용자가 이끄는 AI 협업을 가능하게 하는 핵심 요소로 확인되었다.