[論文レビュー] Different Types of Voice User Interface Failures May Cause Different Degrees of Frustration

Shiyoh Goetsu, Tetsuya Sakai|arXiv (Cornell University)|Feb 10, 2020

AI in Service Interactions参考文献 9被引用数 4

ひとこと要約

本研究では、制御された実験を用いて、カスタムAlexaベースのカレンダーアプリを用いて、さまざまなボイスユーザーインターフェース（VUI）の障害がユーザーのいらだちに与える影響を調査した。その結果、ユーザーが最もいらだちを感じるのは「理由不明」の障害（通常は意図の誤分類によるもの）であり、次に「発話の誤認識」、最も低いのは「発話パターン一致」の問題であった。これは、意図の誤分類を防ぐことが、いらだちを低減する鍵であることを示唆している。

ABSTRACT

We report on an investigation into how different types of failures in a voice user interface (VUI) affects user frustration. To this end, we conducted a pilot user study ($n=10$) and a main user study ($n=30$), both with a simple voice-operated calendar application that we built using the Alexa Skills Kit. In our pilot study, we identified three major failure types as perceived by the users, namely, Reason Unknown, Speech Misrecognition, and Utterance Pattern Match Failure, along with more fine-grained failure types from the developer's viewpoint such as Intent Pattern Match Failure and Intent Misclassification. Then, in our main study, we set up three user tasks that were designed to each induce a specific failure type, and collected user frustration ratings for each task. Our main findings are: (a)Users may be relatively tolerant to user-perceived Speech Misrecognition, and not so to user-perceived Reason Unknown and Utterance Mattern Match Failures; (b)Regarding the relationship between developer-perceived and user-perceived failure types, 68.8\% of developer-perceived Intent Misclassification instances caused user-perceived Reason Unkown failures. From (a) and (b), a practical design implication would be to try to prevent Intent Misclassification from happening by carefully crafting the utterance patterns for each intent.

研究の動機と目的

• ユーザーの視点から、さまざまなVUI障害タイプがユーザーのいらだちに与える影響を理解すること。
• 制御されたVUI環境において、開発者による障害タイプとユーザーによる障害タイプの認識を比較すること。
• ボイスインタラクションにおいて、ユーザーのいらだちが最も高くなる障害タイプを特定すること。
• 障害の認識と影響に基づいて、VUIアプリケーションにおけるいらだちを低減する実用的な設計インサイトを導出すること。

提案手法

• 主に開発者およびユーザーの両視点から主要な障害タイプを特定するため、n=10の参加者を対象にパイロットスタディを実施した。
• Alexaスキルキットを用いて、制御された障害シナリオを再現するカスタム音声操作型カレンダーアプリを構築した。
• 特定の開発者による障害タイプ（D1：意図パターン一致障害、D4：意図誤分類、その他）を誘発するように、3つの異なるユーザー課題（T1、T2、T3）を設計した。
• 各課題におけるユーザーのいらだち評価を収集し、さまざまな障害タイプの感情的影響を評価した。
• 開発者による障害認識（D1–D7）をユーザーによる障害認識（U1–U3）にマッピングし、認識のギャップを分析した。
• 統計的分析を用いて、課題間での平均いらだちスコアを比較し、有意差を同定した。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが認識するさまざまなVUI障害タイプが、そのユーザーのいらだちの度合いにどのように影響するか？
• RQ2 開発者が認識する障害タイプ（例：意図誤分類）が、ユーザーが認識する障害タイプ（例：理由不明）とどの程度一致するか？
• RQ3 どの障害タイプがボイスインタラクションのシナリオにおいて、ユーザーのいらだちを最も高めるか？
• RQ4 たとえば発話パターンの精錬といった、特定の設計戦略によって、高いらだち障害タイプの発生を減らすことができるか？

主な発見

• ユーザーは「発話の誤認識」（U2）に対して著しく低いいらだちを示した。T1では全障害の46.2％を占め、他の障害タイプよりも低かった。
• ユーザーは「理由不明」障害（U1）に対して最も高いいらだちを報告した。T3では全障害の68.3％を占め、他のタイプよりも統計的に有意に高いいらだちを示した。
• 開発者による「意図誤分類」（D4）障害の68.8％が、ユーザーには「理由不明」（U1）として認識された。これは強い認識ギャップを示している。
• D1（意図パターン一致障害）によって誘発された「発話パターン一致障害」（U3）は、参加者の48.0％が正しく認識しており、開発者とユーザーの見解に部分的な一致が見られた。
• T3（U1障害）の平均いらだちスコアは、T1（U2）およびT2（U3）よりも有意に高かった。これは、説明の欠如がいらだちを増大させることを確認した。
• 本研究の結論として、発話パターンの設計を念入りに行い、「意図誤分類」を防ぐことが、VUIにおけるユーザーのいらだちを低減するための重要な戦略であると結論づけた。