[论文解读] Hearing your touch: A new acoustic side channel on smartphones

Ilia Shumailov, Laurent Simon+2 more|arXiv (Cornell University)|Mar 26, 2019

Advanced Malware Detection Techniques参考文献 42被引用 32

一句话总结

本论文展示一种纯粹的声学侧信道攻击，利用智能手机麦克风推断用户在触摸屏键盘上的敲击，从而在真实世界环境中实现PIN和文本输入泄露。

ABSTRACT

We present the first acoustic side-channel attack that recovers what users type on the virtual keyboard of their touch-screen smartphone or tablet. When a user taps the screen with a finger, the tap generates a sound wave that propagates on the screen surface and in the air. We found the device's microphone(s) can recover this wave and "hear" the finger's touch, and the wave's distortions are characteristic of the tap's location on the screen. Hence, by recording audio through the built-in microphone(s), a malicious app can infer text as the user enters it on their device. We evaluate the effectiveness of the attack with 45 participants in a real-world environment on an Android tablet and an Android smartphone. For the tablet, we recover 61% of 200 4-digit PIN-codes within 20 attempts, even if the model is not trained with the victim's data. For the smartphone, we recover 9 words of size 7--13 letters with 50 attempts in a common side-channel attack benchmark. Our results suggest that it not always sufficient to rely on isolation mechanisms such as TrustZone to protect user input. We propose and discuss hardware, operating-system and application-level mechanisms to block this attack more effectively. Mobile devices may need a richer capability model, a more user-friendly notification system for sensor usage and a more thorough evaluation of the information leaked by the underlying hardware.

研究动机与目标

• 证明针对智能手机和平板电脑上的触摸屏虚拟键盘的纯粹声学、被动式侧信道攻击。
• 在真实世界条件下评估恢复PIN和输入文字的可行性。
• 分析哪些麦克风配置与特征能够实现准确的敲击定位与分类。
• 提出覆盖硬件、操作系统和应用层的缓解措施，以阻止或降低泄漏。

提出的方法

• 在用户敲击触摸屏时，从内置麦克风记录音频。
• 提取鲁棒的敲击特征，包括到达时间差和基于 quefrency 的特征。
• 应用带通滤波和互相关来估算敲击位置和时序。
• 使用基于奇异值分解的线性判别分析（LDA）进行分类。
• 在包含45名参与者的数据集上离线训练；使用训练/测试和留一法（LOSO）方案进行评估。
• 在PIN与字母输入情境下比较单麦克风与双麦克风设置。

实验结果

研究问题

• RQ1 设备麦克风捕捉的纯声学信号是否能够揭示触摸屏虚拟键盘上的手指敲击位置？
• RQ2 使用声学特征和多麦克风设置时，PIN 与输入单词的分类准确率是多少？
• RQ3 纵向/横向（竖屏/横屏）以及设备类型（手机与平板）如何影响攻击效果？
• RQ4 在硬件、操作系统和应用层面可采取哪些对策以缓解此泄漏？

主要发现

• 双麦克风设置在最佳情况下能够实现较高的PIN恢复率，在Nexus 5上于20次尝试内恢复出91/150个四位数PIN。
• 单麦克风结果较随机猜测有显著提升，F1分数在34–55之间，取决于麦克风放置与训练方案。
• 在字母和单词推断方面，双麦克风取得最佳结果，某些设置下平板的性能甚至接近实体键盘攻击。
• 在Nexus 5的双麦克风设置下，第20次尝试时PIN推断成功率达至61%；单麦克风结果较低但可检测。
• 在真实世界的单词推断中，4字母单词在不使用语言模型时可达到约6%的暴力破解率，使用3-gram模型可提高到约10%。
• 即使在离线对其他受害者进行训练且不使用受害者特定数据时，攻击仍然有效。