[논문 리뷰] How do you Converse with an Analytical Chatbot? Revisiting Gricean Maxims for Designing Analytical Conversational Behavior

Vidya Setlur, Melanie Tory|arXiv (Cornell University)|2022. 03. 16.

AI in Service Interactions인용 수 5

한 줄 요약

이 논문은 데이터 탐색을 위한 자연스럽고 협력적인 대화를 지원하는 분석 챗봇을 설계하기 위해 Grice의 원칙을 재고한다. Wizard of Oz 및 사용자 연구를 통해 음성 및 텍스트 인터페이스에 시각적 피드백(차트)이 포함될 경우 다단계 대화가 유도되며, 의도 해석과 위젯 또는 음성 프롬프트를 통한 응답 개선이 효과적인 데이터 기반 대화에 핵심적임을 밝혀냈다.

ABSTRACT

Chatbots have garnered interest as conversational interfaces for a variety of tasks. While general design guidelines exist for chatbot interfaces, little work explores analytical chatbots that support conversing with data. We explore Gricean Maxims to help inform the basic design of effective conversational interaction. We also draw inspiration from natural language interfaces for data exploration to support ambiguity and intent handling. We ran Wizard of Oz studies with 30 participants to evaluate user expectations for text and voice chatbot design variants. Results identified preferences for intent interpretation and revealed variations in user expectations based on the interface affordances. We subsequently conducted an exploratory analysis of three analytical chatbot systems (text + chart, voice + chart, voice-only) that implement these preferred design variants. Empirical evidence from a second 30-participant study informs implications specific to data-driven conversation such as interpreting intent, data orientation, and establishing trust through appropriate system responses.

연구 동기 및 목표

• 사용자가 데이터 탐색 과정에서 분석 챗봇과 어떻게 상호작용하는지, 특히 대화 행동과 기대치 측면에서 이해하기 위해.
• 인터페이스 모odal리티(텍스트, 음성, 음성+시각)가 분석 챗봇 시스템에서 사용자 상호작용 패턴과 선호도에 어떤 영향을 미치는지 조사하기 위해.
• 협력적 대화를 기반으로 한 효과적인 사용자-분석 챗봇 상호작용을 위한 설계 원칙을 도출하기 위해.
• 시각화 및 인터페이스 기능(예: 위젯, 후속 프롬프트)이 사용자 참여도와 대화 깊이에 어떤 영향을 미치는지 탐색하기 위해.
• 의도 해석, 모호성 해소, 반복적 개선을 지원하는 챗봇 설계를 위한 정보를 제공하기 위해.

제안 방법

• 30명의 참가자를 대상으로 텍스트, 음성, 음성+차트 챗봇 변형에서 사용자 기대를 평가하기 위해 Wizard of Oz 연구를 수행하였다.
• 3가지 분석 챗봇 프로토타입을 설계 및 구현하였다: 텍스트+차트(Slack), 음성+차트(Echo Show), 음성 전용(Echo)을 통해 인터페이스 기능을 테스트하였다.
• 협력적 대화를 위한 시스템 응답 설계를 분석하고 이끌기 위해 Grice의 원칙(양, 질, 관련성, 방식)을 이론적 시각으로 적용하였다.
• 반복적 프로토타이핑과 사용자 피드백을 통해 후속 프롬프트, 드롭다운 메뉴, 응답 형식 등 인터페이스 요소를 개선했다.
• 사용자 전사 및 상호작용 로그를 분석하여 의도 표현, 모호성 처리, 대화 복구 전략에 대한 패턴을 규명하였다.
• 실제 데이터 탐색 작업에서 선호되는 설계 변형의 경험적 성능을 평가하기 위해 2차로 30명의 참가자를 대상으로 연구를 수행하였다.

실험 결과

연구 질문

• RQ1 분석 챗봇 상호작용에서 사용자의 대화 행동과 기대치가 텍스트, 음성, 음성+시각 모달리티 간에 어떻게 다를까?
• RQ2 Grice의 원칙이 의도 모호성 처리 및 의도 개선과 같은 효과적인 대화 행동을 이끌어내는 데 얼마나 기여하는가?
• RQ3 위젯, 후속 프롬프트, 시각화와 같은 인터페이스 기능이 데이터 기반 대화의 깊이와 구조에 어떤 영향을 미치는가?
• RQ4 특히 시각화를 포함한 시스템 응답이 대화 흐름 유지와 분석적 사고 지원에 어떤 역할을 하는가?
• RQ5 사용자는 데이터 탐색 과정에서 챗봇 행동에 대해 신뢰, 예절, 인격화된 신호 측면에서 어떻게 인지하고 반응하는가?

주요 결과

• 사용자들은 후속 프롬프트가 있는 음성 기반 챗봇을 선호하였으며, 이는 단일턴 상호작용보다 더 자연스럽고 다단계적인 대화를 유도하였다.
• 챗봇 응답에 시각화(차트)를 추가함으로써 후속 질문의 빈도와 더 깊은 분석적 탐구가 크게 증가하였다.
• 인터랙티브 위젯(예: 정렬용 드롭다운)이 포함된 텍스트 기반 챗봇은 복잡한 데이터 탐색 작업에서 더 구조적이고 반복적인 대화를 지원하였다.
• 참가자들은 자주 예절 어휘를 사용하고 음성 챗봇을 인격화하여 표현함으로써 사회적 신호가 사용자 신뢰와 참여도에 영향을 미친다는 점을 보여주었다.
• 음성 전용 상호작용은 단일턴, 사실 중심의 질문을 유도하는 경향이 있었지만, 다중모달(음성+시각) 시스템은 더 풍부하고 탐색적인 대화를 가능케 하였다.
• 시스템이 맥락적 신호와 응답 개선 메커니즘을 활용함으로써 의도 해석이 더 효과적으로 이루어졌으며, 이는 Grice의 관련성 및 방식 원칙과 부합하였다.