[论文解读] Deep-Spying: Spying using Smartwatch and Deep Learning

Tony Beltramelli, Sebastian Risi|arXiv (Cornell University)|Dec 17, 2015

User Authentication and Security Systems参考文献 4被引用 18

一句话总结

本文提出了一种基于深度学习的侧信道攻击方法，通过智能手表采集的运动传感器数据推断击键行为，表明循环神经网络（LSTM）在物理键盘上实现95.8%的击键记录准确率，在虚拟键盘上实现92.1%的触控记录准确率，显著优于传统浅层模型。

ABSTRACT

Wearable technologies are today on the rise, becoming more common and broadly available to mainstream users. In fact, wristband and armband devices such as smartwatches and fitness trackers already took an important place in the consumer electronics market and are becoming ubiquitous. By their very nature of being wearable, these devices, however, provide a new pervasive attack surface threatening users privacy, among others. In the meantime, advances in machine learning are providing unprecedented possibilities to process complex data efficiently. Allowing patterns to emerge from high dimensional unavoidably noisy data. The goal of this work is to raise awareness about the potential risks related to motion sensors built-in wearable devices and to demonstrate abuse opportunities leveraged by advanced neural network architectures. The LSTM-based implementation presented in this research can perform touchlogging and keylogging on 12-keys keypads with above-average accuracy even when confronted with raw unprocessed data. Thus demonstrating that deep neural networks are capable of making keystroke inference attacks based on motion sensors easier to achieve by removing the need for non-trivial pre-processing pipelines and carefully engineered feature extraction strategies. Our results suggest that the complete technological ecosystem of a user can be compromised when a wearable wristband device is worn.

研究动机与目标

• 评估可穿戴腕戴设备（WADs）在被动击键推断攻击中的实际可行性。
• 研究深度神经网络是否在基于运动的击键推断中优于依赖人工特征工程的传统浅层模型。
• 证明智能手表能够实现对各种输入设备的用户输入的持续、无处不在的监听。
• 评估深度学习模型在不进行人工特征工程的情况下，对原始、噪声较大的运动传感器数据进行击键分类的鲁棒性。
• 建立一个概念验证系统，用于从智能手表收集、处理并分类运动传感器数据，以推断用户输入。

提出的方法

• 在用户使用物理键盘和虚拟键盘输入时，从智能手表收集原始运动传感器数据（加速度计和陀螺仪）。
• 通过校准、中值滤波和卡尔曼滤波对传感器数据进行预处理，以减少噪声并提高信号质量。
• 在从时间窗口中提取的统计特征（如均值、方差等）上，使用带有Sigmoid和Tanh激活函数的前馈神经网络（FNN）进行训练。
• 实现带有遗忘门和窥探连接的循环神经网络（LSTM），以建模原始传感器序列中的时间依赖性。
• 训练过程中使用均方误差（MSE）优化，并通过混淆矩阵和分类准确率评估模型性能。
• 在三种实验场景下对比多种网络架构：触控记录、击键记录以及跨任务推断（从触控记录推断击键记录）。

实验结果

研究问题

• RQ1 能否利用智能手表的运动传感器数据高精度地推断出在物理键盘和虚拟键盘上的击键行为？
• RQ2 与依赖人工特征工程的传统浅层模型相比，基于深度学习的方法在基于运动的击键推断中是否表现更优？
• RQ3 基于LSTM的循环神经网络在捕捉传感器数据中的时间模式以实现击键分类方面有多高效？
• RQ4 在触控记录数据上训练的模型是否无需微调即可成功推断物理键盘上的按键输入？
• RQ5 不同的预处理技术与网络架构对击键推断分类性能有何影响？

主要发现

• 基于LSTM的模型在物理键盘击键记录中达到95.8%的峰值准确率，显著优于前馈网络。
• 在虚拟键盘触控记录中，LSTM模型达到92.1%的准确率，表明其在触控输入上具有强大的泛化能力。
• RNN-LSTM模型在所有实验条件下均优于FNN-Sigmoid和FNN-Tanh，尤其在处理噪声大且多变的输入模式时表现更优。
• 使用原始传感器序列作为输入并采用端到端学习，减少了对人工特征工程的依赖，简化了攻击流程。
• 在触控记录数据上训练的模型在跨任务推断中表现出良好泛化能力，实现87.4%的准确率，表明不同输入类型间存在共享的运动模式。
• 如卡尔曼滤波和中值滤波等预处理技术显著提升了信号质量，并对提高分类准确率有重要贡献。