[논문 리뷰] PatternListener: Cracking Android Pattern Lock Using Acoustic Signals

Man Zhou, Qian Wang외 5명|arXiv (Cornell University)|2018. 09. 10.

Advanced Malware Detection Techniques참고 문헌 34인용 수 44

한 줄 요약

PatternListener는 피해자의 기기 스피커와 마이크를 통해 감지하기 어려운 음향 신호를 이용해 Android 패턴 잠금을 재구성하며, 다섯 번의 시도에서 130개의 패턴 중 90% 이상 성공을 달성한다.

ABSTRACT

Pattern lock has been widely used for authentication to protect user privacy on mobile devices (e.g., smartphones and tablets). Given its pervasive usage, the compromise of pattern lock could lead to serious consequences. Several attacks have been constructed to crack the lock. However, these approaches require the attackers to either be physically close to the target device or be able to manipulate the network facilities (e.g., WiFi hotspots) used by the victims. Therefore, the effectiveness of the attacks is significantly impacted by the environment of mobile devices. Also, these attacks are not scalable since they cannot easily infer unlock patterns of a large number of devices. Motivated by an observation that fingertip motions on the screen of a mobile device can be captured by analyzing surrounding acoustic signals on it, we propose PatternListener, a novel acoustic attack that cracks pattern lock by analyzing imperceptible acoustic signals reflected by the fingertip. It leverages speakers and microphones of the victim's device to play imperceptible audio and record the acoustic signals reflected by the fingertip. In particular, it infers each unlock pattern by analyzing individual lines that compose the pattern and are the trajectories of the fingertip. We propose several algorithms to construct signal segments according to the captured signals for each line and infer possible candidates of each individual line according to the signal segments. Finally, we map all line candidates into grid patterns and thereby obtain the candidates of the entire unlock pattern. We implement a PatternListener prototype by using off-the-shelf smartphones and thoroughly evaluate it using 130 unique patterns. The real experimental results demonstrate that PatternListener can successfully exploit over 90% patterns within five attempts.

연구 동기 및 목표

• 온보드 스피커와 마이크를 활용하여 Android 패턴 잠금의 새로운 취약점을 시연한다.
• 패턴 그리기 중 손가락 끝의 움직임을 포착하는 음향 공격(PatternListener)을 개발한다.
• 손가락 끝 궤적을 구간화하고 추론하며 잠금 해제 패턴에 매핑하는 알고리즘을 설계한다.
• 다양한 기기, 속도, 패턴 복잡도에 따른 공격의 강건성을 평가한다.

제안 방법

• 기기 스피커에서 인지하기 어려운 오디오(18–20 kHz)를 재생하고 기기 마이크로 반사를 기록한다.
• 일관된 검출(coherent detection)을 사용하여 베이스밴드 신호를 복조하고 수집된 오디오에서 정적 성분을 제거한다.
• 턴잇 포인트를 식별하여 신호를 패턴의 각 선에 대응하는 조각으로 구간화한다.
• 위상 기반 경로 길이 변화로 상대적인 손가락 끝 움직임을 추출하고 조각을 3×3 격자 선에 매핑한다.
• 발화자-마이크 쌍마다 선 후보 데이터베이스를 구성하고 유사도를 계산하여 실제 패턴을 추론한다.
• 여러 스피커-마이크 쌍의 데이터를 통합하여 선 추론과 패턴 재구성을 개선한다.

실험 결과

연구 질문

• RQ1 피해자의 기기에서 캡처된 온보드 음향 신호가 Android 패턴 잠금에 그려진 패턴을 밝힐 수 있는가?
• RQ2 반사된 음향 신호에서 턴잇 포인트와 패턴의 선 조각을 얼마나 신뢰성 있게 탐지할 수 있는가?
• RQ3 다중 스피커/마이크 데이터 융합이 전체 잠금 해제 패턴 재구성에 얼마나 효과적인가?
• RQ4 그리기 속도, 패턴 복잡도 및 기기 크기의 변화에 대해 PatternListener의 강건성은 어느 정도인가?

주요 결과

• PatternListener는 다섯 번의 시도 내에 130개의 고유 패턴 중 90% 이상을 해독할 수 있다.
• 손가락 끝에서 발생하는 음향 반사는 선을 구간화하고 추론하는 데 사용되는 구분 가능한 C/O 파형 변동을 생성한다.
• 턴잇 포인트를 활용하여 패턴 궤적을 서로 다른 선으로 구간화한다.
• 위상 기반 거리 변화는 주파수 기반 지표보다 그리기 속도에 덜 민감한 강건한 움직임 특징을 제공한다.
• 다중 발화자/마이크 쌍을 사용하면 선 추론 정확도가 높아지고 기기 간 확장 가능한 패턴 해독이 가능하다.