[论文解读] Different Types of Voice User Interface Failures May Cause Different Degrees of Frustration

Shiyoh Goetsu, Tetsuya Sakai|arXiv (Cornell University)|Feb 10, 2020

AI in Service Interactions参考文献 9被引用 4

一句话总结

本研究通过一项受控实验，使用基于Alexa的自定义日历应用，调查了不同类型的语音用户界面（VUI）故障对用户挫折感的影响。研究发现，用户对“原因未知”故障的挫败感最强（通常由意图分类错误引起），对“语音误识别”故障的挫败感次之，对“话语模式匹配”问题的挫败感最低，表明防止意图分类错误是降低用户挫败感的关键。

ABSTRACT

We report on an investigation into how different types of failures in a voice user interface (VUI) affects user frustration. To this end, we conducted a pilot user study ($n=10$) and a main user study ($n=30$), both with a simple voice-operated calendar application that we built using the Alexa Skills Kit. In our pilot study, we identified three major failure types as perceived by the users, namely, Reason Unknown, Speech Misrecognition, and Utterance Pattern Match Failure, along with more fine-grained failure types from the developer's viewpoint such as Intent Pattern Match Failure and Intent Misclassification. Then, in our main study, we set up three user tasks that were designed to each induce a specific failure type, and collected user frustration ratings for each task. Our main findings are: (a)Users may be relatively tolerant to user-perceived Speech Misrecognition, and not so to user-perceived Reason Unknown and Utterance Mattern Match Failures; (b)Regarding the relationship between developer-perceived and user-perceived failure types, 68.8\% of developer-perceived Intent Misclassification instances caused user-perceived Reason Unkown failures. From (a) and (b), a practical design implication would be to try to prevent Intent Misclassification from happening by carefully crafting the utterance patterns for each intent.

研究动机与目标

• 从用户视角出发，理解不同VUI故障类型对用户挫败感的影响。
• 在受控的VUI环境中，比较开发人员感知的故障类型与用户感知的故障类型。
• 识别在语音交互中导致用户挫败感最高的故障类型。
• 基于故障感知与影响，推导出可实际应用的设计启示，以减少VUI应用中的挫败感。

提出的方法

• 通过n=10名参与者的预研实验，从开发人员和用户两个视角识别主要的故障类型。
• 使用Alexa Skills Kit开发了一个自定义的语音操作日历应用，以模拟受控的故障场景。
• 设计了三个不同的用户任务（T1、T2、T3），以诱发特定的开发人员感知故障类型：D1（意图模式匹配故障）、D4（意图分类错误）及其他类型。
• 收集每个任务的用户挫败感评分，以评估不同故障类型的情感影响。
• 将开发人员感知的故障（D1–D7）映射到用户感知的故障（U1–U3），以分析感知差异。
• 使用统计分析比较各任务间的平均挫败感得分，识别显著差异。

实验结果

研究问题

• RQ1 从用户感知的角度，不同类型的VUI故障如何影响其挫败感水平？
• RQ2 开发人员感知的故障类型（如意图分类错误）与用户感知的故障类型（如原因未知）在多大程度上一致？
• RQ3 哪种故障类型在语音交互场景中引发最高的用户挫败感？
• RQ4 特定的设计策略（如优化话语模式）是否能减少高挫败感故障类型的出现？

主要发现

• 用户对‘语音误识别’（U2）的挫败感显著较低，该类故障占T1中故障的46.2%，低于其他故障类型。
• 用户对‘原因未知’故障（U1）的挫败感最高，该类故障占T3中故障的68.3%，且在统计学上显著高于其他类型。
• 68.8%的开发人员感知的‘意图分类错误’（D4）故障被用户感知为‘原因未知’（U1），表明存在强烈的感知差异。
• 由D1（意图模式匹配故障）引发的‘话语模式匹配故障’（U3）被48.0%的参与者正确识别，表明开发人员与用户观点存在部分一致性。
• T3（U1故障）的平均挫败感得分显著高于T1（U2）和T2（U3），证实缺乏解释会加剧挫败感。
• 本研究结论认为，通过精心设计话语模式来预防‘意图分类错误’，是降低VUI中用户挫败感的关键策略。