[논문 리뷰] Hearing your touch: A new acoustic side channel on smartphones

Ilia Shumailov, Laurent Simon외 2명|arXiv (Cornell University)|2019. 03. 26.

Advanced Malware Detection Techniques참고 문헌 42인용 수 32

한 줄 요약

본 논문은 스마트폰 마이크로폰을 이용해 사용자 탭 입력을 추론하는 순수 음향 사이드 채널 공격을 제시하며, 실세계 환경에서 PIN 및 텍스트 입력의 누출을 가능하게 한다.

ABSTRACT

We present the first acoustic side-channel attack that recovers what users type on the virtual keyboard of their touch-screen smartphone or tablet. When a user taps the screen with a finger, the tap generates a sound wave that propagates on the screen surface and in the air. We found the device's microphone(s) can recover this wave and "hear" the finger's touch, and the wave's distortions are characteristic of the tap's location on the screen. Hence, by recording audio through the built-in microphone(s), a malicious app can infer text as the user enters it on their device. We evaluate the effectiveness of the attack with 45 participants in a real-world environment on an Android tablet and an Android smartphone. For the tablet, we recover 61% of 200 4-digit PIN-codes within 20 attempts, even if the model is not trained with the victim's data. For the smartphone, we recover 9 words of size 7--13 letters with 50 attempts in a common side-channel attack benchmark. Our results suggest that it not always sufficient to rely on isolation mechanisms such as TrustZone to protect user input. We propose and discuss hardware, operating-system and application-level mechanisms to block this attack more effectively. Mobile devices may need a richer capability model, a more user-friendly notification system for sensor usage and a more thorough evaluation of the information leaked by the underlying hardware.

연구 동기 및 목표

• 스마트폰과 태블릿에서의 터치스크린 가상 키보드에 대한 순수 음향적이고 수동적인 사이드 채널 공격을 입증한다.
• 실세계 조건에서 PIN과 입력한 단어를 복구하는 실현 가능성을 평가한다.
• 정확한 탭 위치 추정 및 분류를 가능하게 하는 마이크 구성과 특징을 분석한다.
• 누출을 차단하거나 감소시키기 위한 하드웨어, OS, 애플리케이션 계층 전반의 완화책을 제시한다.

제안 방법

• 사용자가 터치스크린을 탭할 때 내장 마이크로부터 오디오를 녹음한다.
• 도착 시간 차(TDOA) 및 큐프렌시 기반 특징을 포함한 강건한 탭 특징을 추출한다.
• 대역통과 필터링과 교차상관을 적용하여 탭 위치와 타이밍을 추정한다.
• 특이값분해(SVD) 기반의 Linear Discriminant Analysis (LDA)을 사용한다.
• 45명의 참가자 데이터 세트로 오프라인 학습을 수행하고, train/test 및 leave-one-subject-out (LOSO) 방식으로 평가한다.
• PIN과 알파벳 입력 전반에 걸쳐 단일 마이크와 이중 마이크 구성을 비교한다.

실험 결과

연구 질문

• RQ1 장치의 마이크로폰으로 캡처된 순수 음향 신호가 터치스크린 가상 키보드에서 손가락 탭 위치를 드러낼 수 있는가?
• RQ2 음향 특징과 다중 마이크 구성으로 PIN 및 입력 단어의 분류 정확도는 얼마나 되는가?
• RQ3 세로/가로 방향과 기기 유형이 공격 효과에 어떤 영향을 미치는가?
• RQ4 하드웨어, OS, 애플리케이션 레벨에서 어떤 대응책이 이 누출을 완화할 수 있는가?

주요 결과

• 이중 마이크 구성은 높은 PIN 회수율을 가능하게 하며, Nexus 5에서 최선의 경우 20회 시도 이내에 91/150의 4자리 PIN을 회수했다.
• 단일 마이크 결과는 무작위 추측에 비해 현저한 개선을 보이며, F1 점수는 마이크 배치 및 학습 방식에 따라 최대 34–55에 이른다.
• 문자 및 단어 추정의 경우 이중 마이크가 최상의 결과를 보이며, 태블릿의 성능은 일부 설정에서 물리 키보드 공격에 근접한다.
• Nexus 5에서 이중 마이크 설정으로 20번째 시도까지 PIN 추정 성공률이 최대 61%에 이르고, 단일 마이크 결과는 더 낮지만 검출 가능하다.
• 실세계 단어 추론에서 4글자 단어를 언어 모델 없이 대략 6%로 무차별 대입할 수 있으며, 3-그램 모델을 사용하면 약 10%로 개선된다.
• 공격은 다른 피해자에 대해 오프라인으로 훈련하고 피해자 특정 데이터 없이도 여전히 효과적이다.