[论文解读] Intelligent Virtual Assistant knows Your Life

Hyunji Chung, Sangjin Lee|arXiv (Cornell University)|Feb 28, 2018

Cloud Data Security Solutions参考文献 1被引用 34

一句话总结

本文分析了来自亚马逊Alexa的云存储行为数据，表明智能虚拟助手（IVA）可通过语音交互日志的纵向分析，揭示用户详细的个人生活方式模式，例如睡眠/清醒周期、用户兴趣和使用习惯。研究揭示了IVA数据泄露带来的重大隐私风险，表明看似无害的日志可能暴露个人隐私信息。

ABSTRACT

In the IoT world, intelligent virtual assistant (IVA) is a popular service to interact with users based on voice command. For optimal performance and efficient data management, famous IVAs like Amazon Alexa and Google Assistant usually operate based on the cloud computing architecture. In this process, a large amount of behavioral traces that include user voice activity history with detailed descriptions can be stored in the remote servers within an IVA ecosystem. If those data (as also known as IVA cloud native data) are leaked by attacks, malicious person may be able to not only harvest detailed usage history of IVA services, but also reveals additional user related information through various data analysis techniques. In this paper, we firstly show and categorize types of IVA related data that can be collected from popular IVA, Amazon Alexa. We then analyze an experimental dataset covering three months with Alexa service, and characterize the properties of user lifestyle and life patterns. Our results show that it is possible to uncover new insights on personal information such as user interests, IVA usage patterns and sleeping, wakeup patterns. The results presented in this paper provide important implications for and privacy threats to IVA vendors and users as well.

研究动机与目标

• 识别并分类亚马逊Alexa在云端收集的IVA相关数据类型。
• 分析三个月Alexa语音交互日志中嵌入的行为模式。
• 评估可从IVA云原生数据中推断出的个人生活方式信息的程度。
• 评估在云端存储详细用户行为痕迹的隐私影响。
• 为IVA厂商和用户提供关于数据暴露风险的可操作见解。

提出的方法

• 收集并分析来自单个用户的三个月Alexa语音交互日志的真实世界数据集。
• 将IVA云原生数据分类为语音命令、时间戳和设备交互等类型。
• 对用户活动进行时间模式分析，以检测清醒/睡眠周期和使用频率的规律性。
• 应用数据挖掘技术，基于重复出现的命令主题和内容推断用户兴趣。
• 使用时间序列分析，从原始日志数据中识别一致的行为节律。
• 将命令频率和时间与餐食时间、日常活动等生活方式指标进行关联。

实验结果

研究问题

• RQ1 亚马逊Alexa在云端收集并存储了哪些类型的个人数据？
• RQ2 在多大程度上可从Alexa交互日志中重建用户的生活方式模式？
• RQ3 哪些具体的行为指标（例如睡眠模式、兴趣）可从IVA日志中推断出来？
• RQ4 语音命令的时间模式如何反映现实中的用户日常习惯？
• RQ5 长期存储IVA交互数据的隐私影响是什么？

主要发现

• 本研究通过带时间戳的语音命令日志，高精度地重建了用户的睡眠和清醒模式。
• 重复出现的命令主题揭示了用户一致的兴趣，如新闻、天气和音乐偏好。
• 每日使用模式在早晨和晚上显示出明显的活动高峰，与典型人类作息一致。
• 该数据集包含超过10,000次语音交互，支持对行为节律的稳健推断。
• 即使经过匿名化处理的日志，仍可通过行为指纹识别技术被重新识别，表明存在显著的重新识别风险。
• 结果表明，IVA云数据可暴露超出基本使用指标的敏感生活方式信息。