[논문 리뷰] Tell Me About Yourself: Using an AI-Powered Chatbot to Conduct Conversational Surveys.

Ziang Xiao, Michelle X. Zhou외 5명|arXiv (Cornell University)|2019. 05. 25.

AI in Service Interactions참고 문헌 62인용 수 4

한 줄 요약

이 논문은 자연어 이해를 활용해 자유형 텍스트 응답을 해석하고 동적으로 더 깊은 통찰을 얻기 위해 추가 질문을 유도하는 인공지능 기반 챗봇을 제안한다. 600명의 참가자가 참여한 현장 연구에서, 기존 온라인 설문보다 챗봇이 참여도를 크게 높이고, 관련성, 깊이, 독해성 측면에서 응답 품질을 향상시켰다.

ABSTRACT

The rise of increasingly more powerful chatbots offers a new way to collect information through conversational surveys, where a chatbot asks open-ended questions, interprets a user's free-text responses, and probes answers when needed. To investigate the effectiveness and limitations of such a chatbot in conducting surveys, we conducted a field study involving about 600 participants. In this study, half of the participants took a typical online survey on Qualtrics and the other half interacted with an AI-powered chatbot to complete a conversational survey. Our detailed analysis of over 5200 free-text responses revealed that the chatbot drove a significantly higher level of participant engagement and elicited significantly better quality responses in terms of relevance, depth, and readability. Based on our results, we discuss design implications for creating AI-powered chatbots to conduct effective surveys and beyond.

연구 동기 및 목표

• 기존 온라인 설문과 비교해 인공지능 기반 챗봇이 대화형 설문을 수행하는 데 효과적인지 조사하기.
• 표준 설문 플랫폼 대비 챗봇을 사용할 경우 참가자의 참여도와 응답 품질을 평가하기.
• 자연어 상호작용을 통해 고품질의 깊이 있는 응답을 유도할 수 있는 챗봇을 설계하는 데 필요한 설계 함의를 규명하기.
• 실제 설문 환경에서 자연어 처리 기반 챗봇을 사용할 때의 강점과 한계를 이해하기.

제안 방법

• 약 600명의 참가자가 참여한 현장 연구를 실시하였으며, 반은 표준 Qualtrics 온라인 설문을, 나머지 반은 인공지능 기반 챗봇과 상호작용하였다.
• 챗봇은 자연어 처리를 활용해 자유형 텍스트 응답을 해석하고, 내용과 맥락에 기반해 동적으로 후속 질문을 생성하였다.
• 대화형 설문 설계를 통해 개방형 응답을 허용하고, 적응형 프로빙을 통해 더 깊이 있고 관련성 있는 응답을 유도하였다.
• 두 조건에서 수집한 자유형 텍스트 응답은 참여도, 관련성, 깊이, 독해성 측면에서 정성적 및 정량적 지표를 활용해 분석하였다.
• 챗봇은 데이터 수집 목표를 달성하면서도 대화의 흐름을 유지하도록 설계되어 인간과 유사한 대화 패턴을 모방하였다.

실험 결과

연구 질문

• RQ1 기존 온라인 설문과 비교해 AI 챗봇을 통해 진행하는 대화형 설문에서 참가자의 참여도는 어떻게 다를까?
• RQ2 표준 설문 대비 챗봇이 자유형 설문 응답의 관련성, 깊이, 독해성 측면에서 얼마나 향상시킬 수 있을까?
• RQ3 설문 데이터 수집을 위해 인공지능 챗봇을 사용할 때의 주요 설계 과제와 기회는 무엇인가?
• RQ4 사용자는 설문 맥락에서 AI 챗봇의 대화 흐름과 상호작용성에 대해 어떻게 평가하는가?

주요 결과

• 인공지능 기반 챗봇은 기존 온라인 설문 대비 참가자의 참여도를 크게 높였다.
• 챗봇을 사용한 참가자들이 제출한 응답은 표준 설문 조건 대비 관련성, 내용의 깊이, 독해성이 뚜렷하게 높았다.
• 챗봇은 자유형 텍스트 응답을 성공적으로 해석하고 맥락에 맞는 후속 질문을 생성하여 데이터 품질을 향상시켰다.
• 이 연구는 자연어 처리 기반 대화형 설문이 정적이고 선형적인 설문 형식보다 더 풍부하고 세밀한 응답을 이끌어낼 수 있음을 보여주었다.
• 강점에도 불구하고 챗봇은 애매하거나 주제에서 벗어난 응답을 처리하는 데 한계를 보였으며, 이는 보다 향상된 모호성 해소 전략이 필요함을 시사한다.