[論文レビュー] Accuracy, Coverage, and Speed: What Do They Mean to Users?

Frankie James, Manny Rayner+1 more|ArXiv.org|Jun 9, 2000

Speech and dialogue systems被引用数 6

ひとこと要約

この論文は、音声インターフェースが、デザイン専門知識の欠如と音声というモダリティ固有の特性のため、使いやすさの問題を抱えていると主張する。従来の使いやすさメトリクスは不十分であり、現実世界の文脈におけるユーザー満足度を向上させるために、正確性、カバレッジ、速度のバランスをとる、音声固有の評価フレームワークの構築を提唱する。

ABSTRACT

Speech is becoming increasingly popular as an interface modality, especially in hands- and eyes-busy situations where the use of a keyboard or mouse is difficult. However, despite the fact that many have hailed speech as being inherently usable (since everyone already knows how to talk), most users of speech input are left feeling disappointed by the quality of the interaction. Clearly, there is much work to be done on the design of usable spoken interfaces. We believe that there are two major problems in the design of speech interfaces, namely, (a) the people who are currently working on the design of speech interfaces are, for the most part, not interface designers and therefore do not have as much experience with usability issues as we in the CHI community do, and (b) speech, as an interface modality, has vastly different properties than other modalities, and therefore requires different usability measures.

研究の動機と目的

• 広く採用されているにもかかわらず、ユーザーが音声入力システムに満足しない理由を特定すること。
• 特にCHIコミュニティにおいて、音声インターフェース開発者と使いやすさ専門家との間のギャップを浮き彫りにすること。
• 従来の入力方法とは本質的に異なるため、音声というモダリティは独自の使いやすさメトリクスを必要とすることを主張すること。
• 現実世界のトレードオフを反映した、新しい評価フレームワークの開発を提唱すること。

提案手法

• 音声インタラクションの文脈における既存の使いやすさメトリクスを分析し、その限界を特定する。
• 正確性、カバレッジ、速度の3つのコア次元に注目することで、使いやすさ評価の見直しを提唱する。
• 音声技術者と使いやすさ研究者との間での学際的連携の必要性を強調する。
• 音声インターフェースは技術的パフォーマンスだけでなく、手や目をふさがれた環境でのユーザー体験についても評価されなければならないことを強調する。
• 会話的相互作用の動的でリアルタイムの性質を反映した、新しい評価手法の開発を要請する。
• ユーザー中心設計の原則を、音声インターフェース開発の初期段階から統合するよう提言する。

実験結果

リサーチクエスチョン

• RQ1 直感的であるにもかかわらず、ユーザーがなぜ音声入力システムに不満を抱え続けるのか？
• RQ2 音声がインターフェースモダリティとして有する独自の特性が、従来の使いやすさ評価手法にどのような挑戦をもたらすのか？
• RQ3 音声インターフェース設計において、正確性、カバレッジ、速度という3つの主要な使いやすさ次元をどのようにバランスさせる必要があるのか？
• RQ4 なぜCHIコミュニティにおいて、音声インターフェース開発者と使いやすさ専門家との間にギャップが生じているのか？
• RQ5 現実世界でのパフォーマンスとユーザー体験をよりよく反映するように、使いやすさメトリクスをどのように再定義できるか？

主な発見

• ユーザーは、技術的制限のためだけではなく、使いやすさ設計の質の低さのため、しばしば音声入力システムに失望する。
• 音声インターフェース開発者は、使いやすさについての正式な訓練を受けていないことが多く、結果として最適でないユーザー体験が生じる。
• モダリティ固有の特性のため、従来の使いやすさメトリクスは音声インターフェースの評価には不十分である。
• 正確性、カバレッジ、速度のバランスが、ユーザー満足度にとって極めて重要であり、インターフェース設計において明示的に取り扱われる必要がある。
• 会話的相互作用のリアルタイムで文脈依存の性質を反映した、新たな評価フレームワークの構築が明確に必要である。
• 音声インターフェースの品質向上のためには、音声技術者と使いやすさ研究者との間での学際的連携が不可欠である。