[论文解读] Fingerprinting Encrypted Voice Traffic on Smart Speakers with Deep Learning

Chenggang Wang, Seán Kennedy+6 more|arXiv (Cornell University)|May 20, 2020

Internet Traffic Analysis and Secure E-voting参考文献 43被引用 5

一句话总结

本文提出了一种基于深度学习的攻击方法，通过利用智能扬声器加密流量中来自出站和入站流量的侧信道信息，对语音命令进行指纹识别。尽管人类语音存在高度变异性，该攻击在仅使用入站服务器端流量的情况下，对Amazon Echo的准确率仍达到92.89%，表明确定性AI生成的响应会在加密流量中留下可识别的模式，带来严重的隐私风险。

ABSTRACT

This paper investigates the privacy leakage of smart speakers under an encrypted traffic analysis attack, referred to as voice command fingerprinting. In this attack, an adversary can eavesdrop both outgoing and incoming encrypted voice traffic of a smart speaker, and infers which voice command a user says over encrypted traffic. We first built an automatic voice traffic collection tool and collected two large-scale datasets on two smart speakers, Amazon Echo and Google Home. Then, we implemented proof-of-concept attacks by leveraging deep learning. Our experimental results over the two datasets indicate disturbing privacy concerns. Specifically, compared to 1% accuracy with random guess, our attacks can correctly infer voice commands over encrypted traffic with 92.89\% accuracy on Amazon Echo. Despite variances that human voices may cause on outgoing traffic, our proof-of-concept attacks remain effective even only leveraging incoming traffic (i.e., the traffic from the server). This is because the AI-based voice services running on the server side response commands in the same voice and with a deterministic or predictable manner in text, which leaves distinguishable pattern over encrypted traffic. We also built a proof-of-concept defense to obfuscate encrypted traffic. Our results show that the defense can effectively mitigate attack accuracy on Amazon Echo to 32.18%.

研究动机与目标

• 通过加密流量分析研究智能扬声器中的隐私泄露问题，特别聚焦于语音命令指纹识别。
• 构建大规模的Amazon Echo和Google Home加密语音流量数据集以供研究使用。
• 开发并评估无需解密即可从侧信道流量特征推断语音命令的深度学习模型。
• 评估仅使用入站服务器端流量时攻击的有效性，独立于用户语音的变异性。
• 设计并评估一种通过混淆加密流量以降低指纹识别准确率的防御机制。

提出的方法

• 开发了一款自动化工具，在真实环境下大规模收集Amazon Echo和Google Home的加密语音流量。
• 收集了包含数千个语音命令痕迹的两个数据集，涵盖出站（用户到服务器）和入站（服务器到用户）的加密数据包。
• 设计并训练了三种深度学习模型——CNN、LSTM和SAE——基于数据包特征（大小、方向、顺序）的数值表示来分类语音命令。
• 使用网格搜索和贝叶斯优化对超参数进行优化，以最大化分类准确率。
• 实现了一种防御机制，通过引入随机延迟和数据包填充来混淆流量模式，降低指纹识别成功率。
• 使用标准指标（如准确率、精确率和F1值）在保留的测试集上评估攻击与防御性能。

实验结果

研究问题

• RQ1 深度学习模型能否在智能扬声器的加密流量上实现高准确率的语音命令推断？
• RQ2 在不依赖用户语音变异性的情况下，仅使用入站服务器端流量能多大程度实现语音命令指纹识别？
• RQ3 服务器端确定性AI响应如何在加密通信中产生可区分的流量模式？
• RQ4 一种实用的防御机制能否通过混淆加密流量有效缓解指纹识别攻击？
• RQ5 在该任务中，不同神经网络架构（CNN、LSTM、SAE）的性能表现如何比较？

主要发现

• 所提出的深度学习攻击在使用出站和入站流量时，对Amazon Echo的语音命令推断准确率达到92.89%，远超1%的随机猜测基线。
• 即使仅依赖入站服务器端流量，该攻击在Amazon Echo上仍保持85.67%的准确率，表明服务器端响应模式具有高度可指纹识别性。
• 尽管人类语音存在高度变异性，该攻击依然有效，因为服务器端AI生成响应的确定性特性创造了稳定的流量模式。
• 所提出的防御机制将Amazon Echo上的攻击准确率降低至32.18%，显著缓解了隐私泄露风险。
• 在某些配置下，LSTM和SAE模型优于CNN，特别是在仅使用入站流量时，表明序列建模在捕捉时间模式方面具有优势。
• 超参数调优显著提升了模型性能，最优配置在仅使用入站流量和双向流量设置之间存在差异。