[论文解读] Building Proactive Voice Assistants: When and How (not) to Interact

Ondrej Miksik, I. Munasinghe+18 more|arXiv (Cornell University)|May 4, 2020

AI in Service Interactions参考文献 38被引用 4

一句话总结

本文提出了一套主动语音助手的框架，该框架基于情境感知、个性化和空间人工智能，以提供及时且不具侵扰性的信息。作者通过原型系统和用户研究验证了其设计，发现隐私是关键关切，用户仅在主动协助不具侵扰性且情境合适时才重视此类服务。

ABSTRACT

Voice assistants have recently achieved remarkable commercial success. However, the current generation of these devices is typically capable of only reactive interactions. In other words, interactions have to be initiated by the user, which somewhat limits their usability and user experience. We propose, that the next generation of such devices should be able to proactively provide the right information in the right way at the right time, without being prompted by the user. However, achieving this is not straightforward, since there is the danger it could interrupt what the user is doing too much, resulting in it being distracting or even annoying. Furthermore, it could unwittingly, reveal sensitive/private information to third parties. In this report, we discuss the challenges of developing proactively initiated interactions, and suggest a framework for when it is appropriate for the device to intervene. To validate our design assumptions, we describe firstly, how we built a functioning prototype and secondly, a user study that was conducted to assess users' reactions and reflections when in the presence of a proactive voice assistant. This pre-print summarises the state, ideas and progress towards a proactive device as of autumn 2018.

研究动机与目标

• 解决仅响应用户主动命令的被动语音助手的局限性。
• 设计一种系统，在不干扰当前活动的情况下，于恰当时间主动提供相关信息。
• 研究在主动交互系统中如何维护隐私和用户舒适度。
• 通过原型和用户研究验证主动语音助手的可行性和用户接受度。
• 确立语音助手自主发起交互的时机与方式的设计原则。

提出的方法

• 开发了定制硬件平台，集成多模态传感器（音频、视觉、环境传感器），实现实时情境感知。
• 实现空间人工智能模型，融合感官输入并理解环境的高层语义。
• 设计决策模块，评估用户状态（如：独自一人、忙碌、正在交谈）及信息的紧急程度。
• 整合个人数据源（日历、邮件、数字行为）以识别相关的主动事件。
• 根据实时情境和用户偏好，动态调整交互时机和交互模式。
• 在真实场景实验室中开展用户研究，参与者与原型系统互动，以评估其反应和隐私顾虑。

实验结果

研究问题

• RQ1 在何种情况下，语音助手可在无用户提示时主动发起交互？
• RQ2 语音助手如何判断最佳时机传递信息，以避免造成分心或不适？
• RQ3 个性化与情境感知在使主动交互显得自然且有用方面发挥什么作用？
• RQ4 用户如何看待使用摄像头、麦克风和行为数据的主动系统所带来的隐私风险？
• RQ5 哪些设计原则可确保主动交互提升用户体验而非降低体验？

主要发现

• 用户极为重视隐私，即使在受控的实验室环境中，隐私问题仍是主动系统的核心挑战。
• 参与者在研究过程中未提出隐私问题，但这并不能保证其在真实家庭环境中会被接受。
• 只有当主动交互及时、情境相关且不具侵扰性时，用户才认为其有益。
• 系统检测用户状态（如：独自一人、忙碌）的能力显著提升了干预时机的恰当性。
• 当信息个性化且源自可信来源（如用户自己的日历或邮件）时，用户更偏好主动更新。
• 功能与隐私之间存在明确权衡：主动功能需要持续访问敏感数据，因此必须具备高度透明度和可配置性。