[논문 리뷰] Different Types of Voice User Interface Failures May Cause Different Degrees of Frustration

Shiyoh Goetsu, Tetsuya Sakai|arXiv (Cornell University)|2020. 02. 10.

AI in Service Interactions참고 문헌 9인용 수 4

한 줄 요약

이 연구는 제어된 실험을 통해 다양한 유형의 음성 사용자 인터페이스(VUI) 장애가 사용자 분노에 미치는 영향을 조사한다. 특수하게 제작된 애슬라 기반 캘린더 앱을 사용하여 진행된 실험에서, 사용자는 '이유를 알 수 없음' 장애(주로 의도 오분류로 인한 것)에 가장 분노하며, '음성 오인식'에 대해서는 덜, '말투 패턴 일치' 문제에 대해서는 가장 덜 분노하는 것으로 나타났다. 이는 의도 오분류를 방지하는 것이 분노를 줄이는 데 핵심적이라는 것을 시사한다.

ABSTRACT

We report on an investigation into how different types of failures in a voice user interface (VUI) affects user frustration. To this end, we conducted a pilot user study ($n=10$) and a main user study ($n=30$), both with a simple voice-operated calendar application that we built using the Alexa Skills Kit. In our pilot study, we identified three major failure types as perceived by the users, namely, Reason Unknown, Speech Misrecognition, and Utterance Pattern Match Failure, along with more fine-grained failure types from the developer's viewpoint such as Intent Pattern Match Failure and Intent Misclassification. Then, in our main study, we set up three user tasks that were designed to each induce a specific failure type, and collected user frustration ratings for each task. Our main findings are: (a)Users may be relatively tolerant to user-perceived Speech Misrecognition, and not so to user-perceived Reason Unknown and Utterance Mattern Match Failures; (b)Regarding the relationship between developer-perceived and user-perceived failure types, 68.8\% of developer-perceived Intent Misclassification instances caused user-perceived Reason Unkown failures. From (a) and (b), a practical design implication would be to try to prevent Intent Misclassification from happening by carefully crafting the utterance patterns for each intent.

연구 동기 및 목표

• 사용자의 관점에서 다양한 VUI 장애 유형이 사용자 분노에 어떻게 영향을 미치는지 이해하기.
• 통제된 VUI 환경에서 개발자가 인식하는 장애 유형과 사용자가 인식하는 장애 유형을 비교하기.
• 음성 상호작용에서 사용자 분노 수준이 가장 높아지는 장애 유형을 특정하기.
• 장애 인식과 영향을 바탕으로 VUI 애플리케이션에서 분노를 줄이기 위한 실용적인 설계 시사점을 도출하기.

제안 방법

• 주요 장애 유형을 개발자 및 사용자 관점에서 파악하기 위해 n=10명의 참가자로 피ilot 연구를 수행하였다.
• 제어된 장애 시나리오를 시뮬레이션하기 위해 애슬라 스킬 키트를 사용하여 맞춤형 음성 기반 캘린더 애플리케이션을 구축하였다.
• 세 가지의 고유한 사용자 작업(T1, T2, T3)을 설계하여 특정 개발자 인식 장애 유형을 유도함: D1(의도 패턴 일치 실패), D4(의도 오분류), 기타.
• 각 작업에 대해 사용자 분노 평가를 수집하여 다양한 장애 유형이 가지는 정서적 영향을 평가함.
• 개발자 인식 장애(D1–D7)를 사용자 인식 장애(U1–U3)로 매핑하여 인식 격차를 분석함.
• 통계적 분석을 통해 작업 간 평균 분노 점수를 비교하고 유의미한 차이를 확인함.

실험 결과

연구 질문

• RQ1 사용자가 인식하는 다양한 유형의 VUI 장애가 분노 수준에 어떻게 영향을 미치는가?
• RQ2 개발자가 인식하는 장애 유형(예: 의도 오분류)이 사용자가 인식하는 장애 유형(예: 이유를 알 수 없음)과 얼마나 일치하는가?
• RQ3 어느 장애 유형이 음성 상호작용 시나리오에서 가장 높은 사용자 분노를 유발하는가?
• RQ4 말투 패턴을 정교화하는 등의 특정 설계 전략이 높은 분노를 유발하는 장애 유형의 발생 빈도를 줄일 수 있는가?

주요 결과

• 사용자는 '음성 오인식'(U2)에 대해 유의미하게 낮은 분노를 보였으며, 이는 T1에서 전체 실패의 46.2%를 차지하였다. 다른 장애 유형보다 분노 수준이 낮았다.
• 사용자는 '이유를 알 수 없음' 장애(U1)에 대해 가장 높은 분노를 보였으며, 이는 T3에서 전체 실패의 68.3%를 차지했고, 다른 유형보다 통계적으로 유의미하게 더 분노를 유발하였다.
• 개발자 인식 '의도 오분류'(D4) 장애의 68.8%가 사용자에게 '이유를 알 수 없음'(U1)으로 인식되었으며, 이는 강력한 인식 격차를 시사한다.
• '말투 패턴 일치 실패'(U3)는 D1(의도 패턴 일치 실패)에 의해 유도되었으며, 참가자의 48.0%가 이를 정확히 인식하여 개발자와 사용자 간 시각의 부분적 일치를 보였다.
• T3(U1 장애)의 평균 분노 점수는 T1(U2)과 T2(U3)보다 유의미하게 높았으며, 이는 설명 부족이 분노를 증가시킨다는 것을 확인한다.
• 이 연구는 의도 오분류를 말투 패턴 설계를 통해 방지하는 것이 VUI에서 사용자 분노를 줄이는 핵심 전략이라는 결론을 내린다.