[论文解读] Accuracy, Coverage, and Speed: What Do They Mean to Users?

Frankie James, Manny Rayner+1 more|ArXiv.org|Jun 9, 2000

Speech and dialogue systems被引用 6

一句话总结

本文认为，语音接口由于缺乏设计专业知识以及语音作为交互模态的独特属性，存在可用性问题。它指出传统可用性度量方法不足以应对这些挑战，并呼吁开发新的、针对语音特性的评估框架，以在实际应用场景中平衡准确性、覆盖率和速度，从而提升用户满意度。

ABSTRACT

Speech is becoming increasingly popular as an interface modality, especially in hands- and eyes-busy situations where the use of a keyboard or mouse is difficult. However, despite the fact that many have hailed speech as being inherently usable (since everyone already knows how to talk), most users of speech input are left feeling disappointed by the quality of the interaction. Clearly, there is much work to be done on the design of usable spoken interfaces. We believe that there are two major problems in the design of speech interfaces, namely, (a) the people who are currently working on the design of speech interfaces are, for the most part, not interface designers and therefore do not have as much experience with usability issues as we in the CHI community do, and (b) speech, as an interface modality, has vastly different properties than other modalities, and therefore requires different usability measures.

研究动机与目标

• 识别尽管广泛采用，用户为何仍对语音输入系统感到不满。
• 强调语音接口开发者与可用性专家之间，特别是在CHI社区内的脱节问题。
• 论证语音作为一种交互模态，因其与传统输入方式的本质差异，需要独特的可用性度量标准。
• 倡导开发反映语音交互实际权衡取舍的新评估框架。

提出的方法

• 在语音交互背景下分析现有可用性度量，识别其局限性。
• 通过聚焦准确性、覆盖率和速度三个核心维度，重新思考可用性评估方法。
• 强调语音技术专家与可用性研究人员之间开展跨学科合作的必要性。
• 强调语音接口不仅应基于技术性能评估，更应关注用户在实际的双手和双眼均被占用环境下的使用体验。
• 呼吁开发反映口语交互动态性和实时性的新型评估方法论。
• 建议从开发初期即整合以用户为中心的设计原则到语音接口开发中。

实验结果

研究问题

• RQ1 尽管语音输入系统具有直观性，用户为何仍感到不满？
• RQ2 语音作为接口模态的独特属性如何挑战传统可用性评估方法？
• RQ3 在语音接口设计中，必须平衡的关键可用性维度——准确性、覆盖率和速度——是什么？
• RQ4 为何语音接口开发者与CHI社区中的可用性专家之间存在脱节？
• RQ5 如何重新定义可用性度量，以更好地反映语音接口在真实世界中的性能和用户体验？

主要发现

• 用户常常对语音输入系统感到失望，原因不仅在于技术限制，更在于可用性设计不佳。
• 语音接口开发者通常缺乏正式的可用性培训，导致用户体验欠佳。
• 由于语音模态的独特特性，传统可用性度量不足以评估语音接口。
• 准确性、覆盖率和速度之间的平衡对用户满意度至关重要，必须在界面设计中明确加以处理。
• 迫切需要开发能反映口语交互实时性和情境敏感性的新型评估框架。
• 语音技术专家与可用性研究人员之间的跨学科合作对于提升语音接口质量至关重要。