[論文レビュー] Building Proactive Voice Assistants: When and How (not) to Interact

Ondrej Miksik, I. Munasinghe+18 more|arXiv (Cornell University)|May 4, 2020

AI in Service Interactions参考文献 38被引用数 4

ひとこと要約

本論文は、文脈認識、パーソナライゼーション、空間AIを活用して、時期を逃さず、干渉を最小限に抑えた情報を提供する、能動的（プロアクティブ）なボイスアシスタントのフレームワークを提案する。著者らはプロトタイプとユーザースタディを通じてその設計を検証し、プライバシーが重要な懸念事項であることが判明した。また、ユーザーは干渉的でなく、文脈的に適切な場合にのみ、能動的支援を評価していることがわかった。

ABSTRACT

Voice assistants have recently achieved remarkable commercial success. However, the current generation of these devices is typically capable of only reactive interactions. In other words, interactions have to be initiated by the user, which somewhat limits their usability and user experience. We propose, that the next generation of such devices should be able to proactively provide the right information in the right way at the right time, without being prompted by the user. However, achieving this is not straightforward, since there is the danger it could interrupt what the user is doing too much, resulting in it being distracting or even annoying. Furthermore, it could unwittingly, reveal sensitive/private information to third parties. In this report, we discuss the challenges of developing proactively initiated interactions, and suggest a framework for when it is appropriate for the device to intervene. To validate our design assumptions, we describe firstly, how we built a functioning prototype and secondly, a user study that was conducted to assess users' reactions and reflections when in the presence of a proactive voice assistant. This pre-print summarises the state, ideas and progress towards a proactive device as of autumn 2018.

研究の動機と目的

• ユーザーが発話によってのみ反応する反応的ボイスアシスタントの限界を解消すること。
• ユーザーの活動を妨げることなく、適切なタイミングで関連情報を能動的に提供するシステムを設計すること。
• 能動的対話システムにおけるプライバシーやユーザーの快適さをどのように維持できるかを調査すること。
• プロトタイプとユーザースタディを通じて、能動的ボイスアシスタントの実現可能性とユーザー受容性を検証すること。
• ボイスアシスタントが自律的に対話のきっかけを打診する際のタイミングと方法に関する設計原則を確立すること。

提案手法

• リアルタイムの文脈認識を可能にする、マルチモーダルセンサー（音声、視覚、環境）を搭載したカスタムハードウェアプラットフォームを開発した。
• センサ入力を統合し、環境の高レベルな意味的理解を実現する空間AIモデルを実装した。
• ユーザー状態（例：一人、忙しい、会話中など）と情報の緊急性を評価する意思決定モジュールを設計した。
• カレンダーやメール、デジタル行動などの個人データソースを統合し、関連する能動的イベントを特定した。
• リアルタイムの文脈とユーザーの好みに基づいて、対話のタイミングとモードを動的に適応可能にした。
• 参加者がプロトタイプと対話するライブラボユーザースタディを実施し、反応とプライバシー懸念を評価した。

実験結果

リサーチクエスチョン

• RQ1 ユーザーの発話なしにボイスアシスタントが能動的な対話を開始するのは、どのような状況で適切なのか？
• RQ2 ユーザーの注意を散らす、または不快に感じさせないために、ボイスアシスタントはどのように最適なタイミングで情報を提供すべきか？
• RQ3 パーソナライゼーションと文脈認識は、能動的対話が自然で有用に感じられるようにするために、どのような役割を果たすのか？
• RQ4 カメラ、マイク、行動データを活用する能動的システムにおける、ユーザーのプライバシーリスクへの認識はいかがのようなものか？
• RQ5 能動的対話がユーザー体験を向上させるのではなく、劣化させるのを防ぐための設計原則は何か？

主な発見

• ユーザーはプライバシーを強く重視しており、制御されたラボ環境でも、プライバシー懸念が能動的システムの中心的な課題となった。
• 研究中にはプライバシーに関する懸念が挙げられなかったが、これは実際の家庭環境での受容性を保証するものではない。
• 能動的対話は、タイミングが良く、文脈的に関連性があり、干渉的でない場合にのみ、有益であると認識された。
• ユーザー状態（例：一人、忙しい）を検出できる能力が、介入のタイミングの適切さを著しく向上させた。
• ユーザーは、自身のカレンダーやメールなどの信頼できるソースから得られるパーソナライズされた更新を好んだ。
• 機能性とプライバシーには明確なトレードオフがある：能動的機能は、機密性の高いデータへの継続的アクセスを必要とし、強力な透明性とカスタマイズ性が求められる。