[论文解读] Evaluating Personal Assistants on Mobile devices

Julia Kiseleva, Maarten de Rijke|arXiv (Cornell University)|Jun 14, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 47被引用 10

一句话总结

本文提出了一项研究议程，旨在通过可扩展的手势和语音交互信号，评估移动个人助手在情境感知环境下的用户满意度。该研究通过建模触摸、动作和语音交互，弥补了以桌面为中心的评估方法的局限性，实现了在真实移动情境中预测用户满意度，推动了深度学习在移动人机交互行为信号分析中的应用。

ABSTRACT

The iPhone was introduced only a decade ago in 2007 but has fundamentally changed the way we interact with online information. Mobile devices differ radically from classic command-based and point-and-click user interfaces, now allowing for gesture-based interaction using fine-grained touch and swipe signals. Due to the rapid growth in the use of voice-controlled intelligent personal assistants on mobile devices, such as Microsoft's Cortana, Google Now, and Apple's Siri, mobile devices have become personal, allowing us to be online all the time, and assist us in any task, both in work and in our daily lives, making context a crucial factor to consider. Mobile usage is now exceeding desktop usage, and is still growing at a rapid rate, yet our main ways of training and evaluating personal assistants are still based on (and framed in) classical desktop interactions, focusing on explicit queries, clicks, and dwell time spent. However, modern user interaction with mobile devices is radically different due to touch screens with a gesture- and voice-based control and the varying context of use, e.g., in a car, by bike, often invalidating the assumptions underlying today's user satisfaction evaluation. There is an urgent need to understand voice- and gesture-based interaction, taking all interaction signals and context into account in appropriate ways. We propose a research agenda for developing methods to evaluate and improve context-aware user satisfaction with mobile interactions using gesture-based signals at scale.

研究动机与目标

• 弥合基于桌面的评估方法与涉及触摸、手势和语音的现代移动交互范式之间的日益扩大的差距。
• 认识到传统指标（如点击次数和停留时间）因交互模式差异和情境可变性，在移动环境中已不足以充分衡量用户满意度。
• 开发一种可扩展的、以行为为导向的用户满意度测量方法，充分考虑移动交互中的情境上下文和情感线索。
• 超越静态的查询-响应模型，捕捉真实移动使用场景中动态的、多模态的用户行为。
• 建立基于移动设备可追踪的丰富交互信号的大规模个人助手评估基础。

提出的方法

• 通过结合触摸事件、设备运动（方向、加速度）、GPS 数据和手势事件（如滑动、摇动）来建模交互，以捕捉用户行为。
• 使用视口跟踪间接推断基于触摸的交互，尤其在无法直接记录触摸日志时。
• 整合用户位置、时间及设备状态等上下文信号，以增强交互建模，实现上下文感知分析。
• 应用深度神经网络，对手势和语音交互数据中的复杂非线性模式进行建模，以预测用户满意度。
• 结合无监督日志分析与有监督用户实验，验证并标注上下文感知的满意度信号。
• 在会话级满意度模型基础上，引入上下文感知和动态环境建模，以反映用户状态和环境的实时变化。

实验结果

研究问题

• RQ1 RQ1：如何使用可扩展、可追踪的信号来建模与手势和语音控制设备的交互？
• RQ2 RQ2：如何在移动环境中定义与个人助手相关的上下文感知用户满意度？
• RQ3 RQ3：如何使用移动设备上的手势信号预测上下文感知的用户满意度？

主要发现

• 与传统点击指标相比，手势和语音信号对用户情绪和情境上下文更加敏感，能够实现对用户满意度的更丰富推断。
• 触摸和运动信号（如滑动模式和设备方向）揭示了与用户挫败感或满意度相关的心理和行为线索。
• 视口跟踪即使在无直接日志记录的情况下，也能实现对触摸交互的间接但有效的推断，支持大规模数据收集。
• 上下文感知满意度建模必须超越会话级分析，纳入用户位置、设备状态和环境的动态变化。
• 深度神经网络在建模复杂移动交互模式方面展现出强大潜力，但其在移动行为信号中的应用仍处于探索阶段。
• 当前基于桌面交互模型的评估框架无法捕捉手势和语音驱动交互的细微差别，亟需新的方法论路径。