[논문 리뷰] Accuracy, Coverage, and Speed: What Do They Mean to Users?

Frankie James, Manny Rayner외 1명|ArXiv.org|2000. 06. 09.

Speech and dialogue systems인용 수 6

한 줄 요약

이 논문은 음성 인터페이스가 설계 전문성 부족과 음성이라는 모odal의 고유한 특성으로 인해 사용성 문제를 겪는다고 주장한다. 기존의 사용성 평가 지표는 부적절하며, 정확도, 포괄성, 속도를 균형 있게 고려하는 새로운 음성 전용 평가 프레임워크의 필요성을 제기한다. 이는 실제 환경에서 사용자 만족도를 향상시키기 위함이다.

ABSTRACT

Speech is becoming increasingly popular as an interface modality, especially in hands- and eyes-busy situations where the use of a keyboard or mouse is difficult. However, despite the fact that many have hailed speech as being inherently usable (since everyone already knows how to talk), most users of speech input are left feeling disappointed by the quality of the interaction. Clearly, there is much work to be done on the design of usable spoken interfaces. We believe that there are two major problems in the design of speech interfaces, namely, (a) the people who are currently working on the design of speech interfaces are, for the most part, not interface designers and therefore do not have as much experience with usability issues as we in the CHI community do, and (b) speech, as an interface modality, has vastly different properties than other modalities, and therefore requires different usability measures.

연구 동기 및 목표

• 광범위한 도입에도 불구하고 사용자가 음성 입력 시스템에 여전히 만족하지 못하는 이유를 규명하기 위해.
• 특히 CHI 커뮤니티 내에서 음성 인터페이스 개발자와 사용성 전문가 간 격차를 부각하기 위해.
• 기존 입력 방식과의 본질적 차이로 인해 음성이 모달로서 고유한 사용성 지표가 필요하다고 주장하기 위해.
• 실제 상황에서의 상호작용에서 발생하는 상호보완적 성과를 반영하는 새로운 평가 프레임워크 개발을 주장하기 위해.

제안 방법

• 음성 상호작용 맥락에서 기존 사용성 지표를 분석하여 그 한계를 규명한다.
• 정확도, 포괄성, 속도의 세 가지 핵심 차원에 초점을 맞춘 사용성 평가의 재고를 제안한다.
• 음성 기술자와 사용성 연구자 간의 다학제적 협업의 필요성을 강조한다.
• 음성 인터페이스는 기술적 성능 외에도 실생활의 손과 눈이 바쁜 환경에서의 사용자 경험을 고려해 평가되어야 한다고 강조한다.
• 말하기 상호작용의 동적이고 실시간적인 특성을 반영하는 새로운 평가 방법론 개발을 촉구한다.
• 사용자 중심 설계 원칙을 음성 인터페이스 개발 초기 단계부터 통합할 것을 권장한다.

실험 결과

연구 질문

• RQ1 사용자가 직관적인 성격을 지닌 음성 입력 시스템에도 불구하고 여전히 불만을 느끼는 이유는 무엇인가?
• RQ2 음성이 인터페이스 모달로서의 고유한 특성이 기존 사용성 평가 방법에 도전하는 방식은 무엇인가?
• RQ3 음성 인터페이스 설계에서 균형을 이루어야 할 핵심 사용성 차원(정확도, 포괄성, 속도)은 무엇인가?
• RQ4 왜 CHI 커뮤니티 내에서 음성 인터페이스 개발자와 사용성 전문가 사이에 격차가 존재하는가?
• RQ5 실제 상황에서의 성능과 사용자 경험을 더 잘 반영하기 위해 사용성 지표를 어떻게 재정의할 수 있는가?

주요 결과

• 사용자들은 종종 기술적 한계 때문이 아니라 떨어진 사용성 설계로 인해 음성 입력 시스템에 실망한다.
• 음성 인터페이스 개발자들은 종종 사용성에 대한 공식적인 교육을 받지 않아 최적의 사용자 경험을 제공하지 못한다.
• 모달의 고유한 특성으로 인해 기존의 사용성 지표는 음성 인터페이스 평가에 부적절하다.
• 정확도, 포괄성, 속도 간의 균형이 사용자 만족도에 결정적인 영향을 미치며, 이는 인터페이스 설계에서 명시적으로 다뤄져야 한다.
• 실시간적이고 맥락 민감한 말하기 상호작용의 특성을 반영하는 새로운 평가 프레임워크의 필요성이 명확히 드러났다.
• 음성 기술자와 사용성 연구자 간의 다학제적 협업이 음성 인터페이스 품질 향상에 필수적이다.