[论文解读] Blind Recognition of Touched Keys: Attack and Countermeasures

Qinggang Yue, Zhen Ling+3 more|arXiv (Cornell University)|Mar 19, 2014

User Authentication and Security Systems参考文献 31被引用 10

一句话总结

本文提出了一种新颖的计算机视觉攻击方法，通过光学流和单应性映射技术，从视频画面中盲猜触摸屏上被按下的按键，从而推断出密码，成功率超过90%。为应对该威胁，本文提出一种上下文感知的隐私增强型键盘（PEK），采用随机化按键布局，显著增加输入时间，但被认为在隐私保护方面可接受。

ABSTRACT

In this paper, we introduce a novel computer vision based attack that discloses inputs on a touch enabled device, while the attacker cannot see any text or popups from a video of the victim tapping on the touch screen. In the attack, we use the optical flow algorithm to identify touching frames where the finger touches the screen surface. We innovatively use intersections of detected edges of the touch screen to derive the homography matrix mapping the touch screen surface in video frames to a reference image of the virtual keyboard. We analyze the shadow formation around the fingertip and use the k-means clustering algorithm to identify touched points. Homography can then map these touched points to keys of the virtual keyboard. Our work is substantially different from existing work. We target password input and are able to achieve a high success rate. We target scenarios like classrooms, conferences and similar gathering places and use a webcam or smartphone camera. In these scenes, single-lens reflex (SLR) cameras and high-end camcorders used in related work will appear suspicious. To defeat such computer vision based attacks, we design, implement and evaluate the Privacy Enhancing Keyboard (PEK) where a randomized virtual keyboard is used to input sensitive information.

研究动机与目标

• 应对触摸屏设备日益增长的侧信道攻击威胁，防止用户在输入密码时隐私泄露。
• 开发一种隐蔽的、基于视频的攻击方法，无需依赖可见文本或视觉反馈即可推断触摸输入。
• 设计一种实用且用户可接受的防护措施，以应对现实环境中此类视觉侧信道攻击。
• 评估在敏感输入场景下，随机化虚拟键盘在可用性与安全性之间的权衡。

提出的方法

• 使用光学流检测视频序列中手指与触摸屏接触的‘触碰帧’。
• 通过边缘相交检测方法，推导出触摸屏表面与参考虚拟键盘图像之间的单应性矩阵。
• 应用k均值聚类算法识别指尖阴影，定位视频帧中的触碰点。
• 利用单应性变换将检测到的触碰点映射到虚拟键盘的按键上，实现按键推断。
• 实现两种版本的隐私增强型键盘（PEK）：一种采用按键布局随机化，另一种通过布朗运动实现按键动态移动。
• 利用Android的EditorInfo实现上下文感知功能，仅在密码输入字段中触发PEK。

实验结果

研究问题

• RQ1 在缺乏文本或按键弹出等视觉线索的情况下，计算机视觉攻击能否准确推断出触摸屏上的触摸输入？
• RQ2 哪些计算机视觉技术能够实现在低质量视频中对被按按键的高精度盲识别？
• RQ3 通过屏幕边缘相交检测获得的单应性映射，在将视频中的触碰点对齐到虚拟键盘时，其效果如何？
• RQ4 随机化虚拟键盘在多大程度上能降低此类视觉侧信道攻击的成功率？
• RQ5 在隐私敏感场景中，由于随机化键盘导致的输入时间增加，是否在现实世界密码输入中可被接受？

主要发现

• 该攻击在首次尝试中对触碰按键的识别成功率超过90%，第二次尝试时超过95%。
• 光学流与k均值聚类的结合，即使在低分辨率或远距离拍摄的视频中，也能实现对触碰点的精确检测。
• 通过边缘相交检测实现的单应性估计，在此场景下优于传统基于特征的方法（如SIFT）。
• 采用按键布局随机化的隐私增强型键盘（PEK）将中位数输入时间从2.2秒增加至5.86秒，而布朗运动PEK则增加至8.24秒。
• 尽管输入时间更长，仍有94.17%的用户成功使用布朗运动PEK输入了四位密码，表明其在隐私保护方面具有高度可用性。
• 参与者认为该PEK在保护敏感输入方面可接受，尤其是在仅在密码输入字段中触发时，证实了其在实际应用中的可行性。