[논문 리뷰] Collecting Qualitative Data at Scale with Large Language Models: A Case Study

Alejandro Cuevas Villalba, Jennifer V. Scurrell외 3명|arXiv (Cornell University)|2023. 09. 18.

AI in Service Interactions인용 수 4

한 줄 요약

이 연구는 대규모 언어 모델(Large Language Model, LLM)을 활용한 챗봇이 체계적으로 질적 데이터를 수집하는 데 효과적인지 평가한다. LLM 기반의 동적 탐색과 대화 요약 기능이 규칙 기반 챗봇보다 응답의 풍부함과 사용자 만족도를 크게 향상시키는 것으로 입증되었으며, 사용자들은 여전히 인간 인터뷰어를 선호하지만, 개선된 AI 상호작용을 경험한 바 있다.

ABSTRACT

Chatbots have shown promise as tools to scale qualitative data collection. Recent advances in Large Language Models (LLMs) could accelerate this process by allowing researchers to easily deploy sophisticated interviewing chatbots. We test this assumption by conducting a large-scale user study (n=399) evaluating 3 different chatbots, two of which are LLM-based and a baseline which employs hard-coded questions. We evaluate the results with respect to participant engagement and experience, established metrics of chatbot quality grounded in theories of effective communication, and a novel scale evaluating "richness" or the extent to which responses capture the complexity and specificity of the social context under study. We find that, while the chatbots were able to elicit high-quality responses based on established evaluation metrics, the responses rarely capture participants' specific motives or personalized examples, and thus perform poorly with respect to richness. We further find low inter-rater reliability between LLMs and humans in the assessment of both quality and richness metrics. Our study offers a cautionary tale for scaling and evaluating qualitative research with LLMs.

연구 동기 및 목표

• HCI 연구에서의 확장성과 질적 성향 간의 상충 관계를 해결하기 위해 LLM을 활용해 챗봇 기반 데이터 수집을 향상시키는 것.
• 사용자들이 대화형 AI를 어떻게 인식하는지와 실제 시스템 기능 간의 '기대 격차'를 좁히는 것.
• LLM를 통합한 챗봇이 규칙 기반 챗봇보다 사용자 참여도, 응답 품질, 사용자 경험 측면에서 뛰어나다는 것을 평가하는 것.
• LLM가 생성한 대화 요약이 질적 연구에서 확장 가능한 구성원 확인(멤버 체킹) 방법으로 유용한지 탐색하는 것.
• 다른 HCI 연구자들이 LLM 기반 챗봇 설계를 도입하고 확장할 수 있도록 오픈소스 프레임워크를 제공하는 것.

제안 방법

• 사용자 입력에 기반해 동적으로 후속 질문을 생성할 수 있는 LLM 기반 챗봇을 개발하였다.
• LLM를 활용해 실시간으로 대화 요약을 생성하고 사용자 확인을 위한 요약 모듈을 구현하였다.
• 규칙 기반 챗봇 또는 두 가지 LLM 기반 변형 중 하나와 상호작용하는 데 399명의 참가자를 무작위로 배정한 사용자 연구를 설계하였다.
• 응답 길이, 참여 시간 등의 정량적 지표와 정성적 피드백을 병행해 사용자 경험과 응답 품질을 평가하였다.
• 고정된 규칙 기반 논리에 의존하지 않도록 동적 탐색과 요약 생성을 가능하게 하기 위해 프롬프트 엔지니어링을 적용하였다.
• 다른 HCI 연구자들이 복제 및 확장할 수 있도록 오픈소스 코드베이스와 프롬프트를 제공하였다.

Figure 1. Execution diagram from our chatbot. The interaction begins with a hardcoded question from the chatbot. Then, the Dynamic Prober module generates a dynamic follow-up based on the participant’s response two times. When we have asked 3 main questions, the Member Checker summarizes the convers

실험 결과

연구 질문

• RQ1 챗봇 기반 데이터 수집에 LLM을 통합함으로써 규칙 기반 시스템 대비 사용자 참여도가 향상되는가?
• RQ2 LLM 기반 챗봇은 질적 응답의 풍부함과 깊이를 어느 정도 향상시키는가?
• RQ3 사용자들이 대화형 AI를 기대하는 바와 실제로 LLM 기반 챗봇이 수행하는 성능 간의 격차는 어떠한가?
• RQ4 LLM가 생성한 대화 요약은 질적 연구에서 확장 가능한 구성원 확인 방법으로 효과적인가?
• RQ5 사용자들은 전통적인 웹 설문조사나 인간 인터뷰어와 비교해 LLM 기반 챗봇을 어떻게 평가하는가?

주요 결과

• 동적 탐색 기능을 갖춘 LLM 기반 챗봇은 사용자 경험의 정량적·정성적 지표를 모두 유의미하게 향상시켜 기대 격차가 좁혀지고 있음을 시사한다.
• 참가자 약 95%가 LLM가 생성한 대화 요약에 동의하여, 확장 가능한 구성원 확인에 큰 잠재력을 지닌다.
• 참여도 수준은 조건 간 유사했지만, LLM 기반 조건에서 응답의 풍부함이 유의미하게 높았다.
• 사용자들은 전통적인 웹 설문조사보다 LLM 기반 챗봇을 선호했지만, 여전히 인간 인터뷰어를 선호하는 것으로 나타났다.
• 참가자들은 개인화된 대응과 명확화 질문을 요청할 수 있는 능력을 기대하며, 이 기능들이 향후 인식된 품질을 더욱 향상시킬 수 있음을 시사한다.
• 본 연구는 LLM 기반 챗봇이 시간이 급한 연구 맥락에서 심층 인터뷰의 실질적인 대안이 될 수 있음을 확인한다.

Figure 2. User interface of our chatbot application, which could be accessed via a web or mobile device. Chatbot-generated text is indicated in grey with chatbot-generated questions made more salient to the user through the use of yellow highlighting. User text is indicated in blue. The image presen