[논문 리뷰] User Interaction Patterns and Breakdowns in Conversing with LLM-Powered Voice Assistants

Amama Mahmood, Junxiang Wang외 3명|arXiv (Cornell University)|2023. 09. 25.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 Alexa와 통합된 ChatGPT 기반 음성 어시스턴트가 의료 자가진단, 창의적 계획, 토론 과제에 걸친 다중 대화에서 상호작용 패턴을 어떻게 형성하는지 조사하고, 상호작용이 더 풍부해지며 VA가 오류를 흡수하고 고장을 복구하는 데 중요한 역할을 한다는 점을 강조합니다.

ABSTRACT

Conventional Voice Assistants (VAs) rely on traditional language models to discern user intent and respond to their queries, leading to interactions that often lack a broader contextual understanding, an area in which Large Language Models (LLMs) excel. However, current LLMs are largely designed for text-based interactions, thus making it unclear how user interactions will evolve if their modality is changed to voice. In this work, we investigate whether LLMs can enrich VA interactions via an exploratory study with participants (N=20) using a ChatGPT-powered VA for three scenarios (medical self-diagnosis, creative planning, and discussion) with varied constraints, stakes, and objectivity. We observe that LLM-powered VA elicits richer interaction patterns that vary across tasks, showing its versatility. Notably, LLMs absorb the majority of VA intent recognition failures. We additionally discuss the potential of harnessing LLMs for more resilient and fluid user-VA interactions and provide design guidelines for tailoring LLMs for voice assistance.

연구 동기 및 목표

• LLMs가 단일 턴 쿼리를 넘어서 음성 어시스턴트 상호작용을 어떻게 풍부하게 하는지 이해한다.
• LLM 기반 VA에서 시나리오별 상호작용 패턴과 고장 발생을 식별한다.
• 오류 흡수 및 복구 시퀀스 촉발 능력에서 VA의 역할을 평가한다.
• 텍스트 중심 LLM을 음성 인터페이스에 맞게 적용하기 위한 설계 지침을 제공한다.

제안 방법

• 지연 시간과 대화 기록 관리를 위해 이중 미들맨 API를 통해 통합된 ChatGPT-인Alexa 시스템(gpt-3.5-turbo) 프로토타입을 구축한다.
• 세 가지 과제(의료 자가진단, 창의적 계획, 토론)에서 20명의 참가자를 대상으로 탐색적 연구를 수행한다.
• 주제 분석과 발화행위/속성 프레임워크를 활용하여 상호작용 패턴과 고장을 수집·분석한다.
• 시스템 메시지를 사용하여 의학, 계획, 토론의 시나리오에 맞는 페르소나를 생성하도록 ChatGPT를 프롬프트한다.
• 활성화 구문과 대화 흐름을 유지하기 위한 대체 대화 전략을 구현한다.

실험 결과

연구 질문

• RQ1 다양한 과제에서 음성으로 LLM 기반 VA와 대화할 때 어떤 새로운 상호작용 패턴이 나타나는가?
• RQ2 음성 어시스턴트에서 LLM이 오류 흡수, 고장 복구, 전반적인 대화 회복력에 어떤 영향을 미치는가?
• RQ3 강력한 음성 상호작용에 맞게 텍스트 중심 LLM을 적용하기 위한 설계 고려사항은 무엇인가?
• RQ4 사용자 목표와 과제 제약이 VA- 및 사용자 주도 복구 전략에 어떤 영향을 미치는가?

주요 결과

• LLM-기반 VA는 전통적 VA에 비해 태스크 의존적인 상호작용 패턴을 더 풍부하게 이끌어낸다.
• VA는 의도 인식 실패의 대다수를 흡수하고 적극적으로 복구 시퀀스를 시작한다.
• 시나리오 전반에서 VA는 맥락 유지 및 적응성을 보여 특정 대화 고장을 줄인다.
• 설계 지침으로 계층적 응답 구조, 프롬프트 재설계, 음성 사용을 위한 LLM의 이점과 도전의 균형 맞추기를 제시한다.
• 이중 미들맨 API를 통한 지연 관리로 Alexa 내부 응답 창을 가능하게 하여 원활한 사용자 경험을 유지한다.