[논문 리뷰] Tell Me About Yourself: Using an AI-Powered Chatbot to Conduct Conversational Surveys with Open-ended Questions

Ziang Xiao, Michelle X. Zhou외 5명|Cambridge University Engineering Department Publications Database|2019. 05. 25.

AI in Service Interactions참고 문헌 64인용 수 28

한 줄 요약

이 논문은 자연어 이해를 활용해 응답을 해석하고 깊이 있는 통찰을 위해 동적으로 추가 질문을 던지는 인공지능 기반 채팅봇을 제안한다. 약 600명의 참가자가 참여한 현장 연구에서, 채팅봇은 그리스의 원칙(정보성, 관련성, 구체성, 명확성)을 기준으로 측정했을 때 전통적인 양식 기반 설문보다 응답의 질을 크게 향상시켰으며, 참여도와 정보 공개 수준도 높였다.

ABSTRACT

The rise of increasingly more powerful chatbots offers a new way to collect information through conversational surveys, where a chatbot asks open-ended questions, interprets a user's free-text responses, and probes answers whenever needed. To investigate the effectiveness and limitations of such a chatbot in conducting surveys, we conducted a field study involving about 600 participants. In this study with mostly open-ended questions, half of the participants took a typical online survey on Qualtrics and the other half interacted with an AI-powered chatbot to complete a conversational survey. Our detailed analysis of over 5200 free-text responses revealed that the chatbot drove a significantly higher level of participant engagement and elicited significantly better quality responses measured by Gricean Maxims in terms of their informativeness, relevance, specificity, and clarity. Based on our results, we discuss design implications for creating AI-powered chatbots to conduct effective surveys and beyond.

연구 동기 및 목표

• 인공지능 기반 채팅봇이 개방형 질문을 포함한 설문에서 참여도와 응답 품질을 향상시킬 수 있는지 조사한다.
• 기존의 표준 양식 기반 온라인 설문과 비교하여 대화형 채팅봇 설문의 효과성을 평가하여 고품질의 자유형 텍스트 응답을 유도하는지 확인한다.
• 채팅봇 인터페이스에서의 상호작용적이고 동적인 추가 질문 기법이 설문 이행 피로를 어떻게 줄이고 참가자의 정보 공개를 향상시키는지 분석한다.
• 고품질의 자연스럽고 의미 있는 설문 상호작용을 지원하는 인공지능 채팅봇의 설계 원칙을 규명한다.
• 채팅봇이 설문을 넘어서 반구조화된 인터뷰나 관계 기반 에이전트 응용 분야에서의 질적 데이터 수집 도구로 활용될 잠재력을 탐색한다.

제안 방법

• 연구는 Juji 플랫폼을 기반으로 한 맞춤형 인공지능 기반 채팅봇을 도입하여 개방형 질문을 포함한 대화형 설문을 수행하였다.
• 채팅봇은 자유형 텍스트 응답을 이해하기 위해 자연어 이해 기술을 사용했으며, 명확화, 추가 질문, 후속 질문 등의 활동적 청취 전략을 적용하였다.
• 참가자들은 무작위로 채팅봇 설문(≈300명) 또는 양식 기반 Qualtrics 설문(≈300명)에 배정되었다.
• 채팅봇은 사용자 입력에 따라 질문을 동적으로 조정했으며, 응답을 깊이 있게 이끌기 위해 소크라테스적 질문 원칙을 적용하였다.
• 자유형 텍스트 응답은 그리스의 원칙(정보성, 관련성, 구체성, 명확성)을 기반으로 품질을 평가하였다.
• 참가자의 참여도는 설문 소요 시간, 응답 길이, 자가 보고된 경험을 통해 측정되었다.

실험 결과

연구 질문

• RQ1 채팅봇 기반 대화형 설문이 기존의 양식 기반 설문보다 더 높은 품질의 자유형 텍스트 응답을 유도하는가?
• RQ2 채팅봇이 개방형 응답을 이해하고 반응할 수 있는 능력이 참가자의 참여도와 정보 공개 수준에 어떤 영향을 미치는가?
• RQ3 동적 추가 질문과 대화형 상호작용이 설문 이행 피로를 어느 정도 감소시키는가?
• RQ4 인공지능 채팅봇의 어떤 설계 특징이 설문 환경에서 응답 품질과 사용자 경험을 가장 크게 향상시키는가?
• RQ5 채팅봇은 질적 데이터 수집을 위한 구조화된 또는 반구조화된 인터뷰를 효과적으로 대체하거나 보완할 수 있는가?

주요 결과

• 채팅봇을 사용한 참가자들이 기존의 양식 기반 설문보다 그리스의 원칙을 기준으로 측정했을 때 훨씬 더 정보가 풍부하고 관련성 있고, 더 구체적이며 명확한 자유형 텍스트 응답을 제공하였다.
• 채팅봇 그룹은 평균 20분 동안 설문에 참여했으며, 응답 길이가 길고 개인 정보 공개 의향이 높았다.
• 채팅봇 참가자의 67.4%가 긍정적인 경험을 했으며, 향후 채팅 형식의 설문에 참여할 의향이 있다고 밝혔다.
• 채팅봇은 사용자 입력에 맞춰 동적으로 적응하고 대화 흐름을 유지함으로써 응답 피로를 크게 감소시키고 참여도를 향상시켰다.
• 채팅봇 조건에 속한 참가자들은 더 구체적이고 맥락이 풍부한 답변을 제공할 가능성이 높았으며, 질문을 건너뛰거나 최소한의 응답을 하는 경우가 훨씬 적었다.
• 이 연구는 인공지능 기반 채팅봇이 개방형 질문에 대해 정적 설문을 효과적으로 대체할 수 있음을 입증하였으며, 특히 고품질의 질적 통찰을 필요로 할 경우에 특히 유용하다.