[논문 리뷰] Spearphone: A Speech Privacy Exploit via Accelerometer-Sensed Reverberations from Smartphone Loudspeakers.

S Abhishek Anand, Chen Wang외 3명|arXiv (Cornell University)|2019. 07. 12.

Advanced Malware Detection Techniques참고 문헌 13인용 수 14

한 줄 요약

Spearphone는 스마트폰의 가속도계 읽기 값을 활용해 내장 loudspeaker의 반향에 의한 음성 정보를 추출하며, 표준 머신러닝 기법을 사용하여 성별 분류 정확도 90% 이상, 발화자 식별 정확도 80% 이상을 달성하여 loudspeaker 모드 음성 재생에서 심각한 개인정보 유출 위험을 드러낸다.

ABSTRACT

In this paper, we build a speech privacy attack that exploits speech reverberations generated from a smartphone's in-built loudspeaker captured via a zero-permission motion sensor (accelerometer). We design our attack Spearphone2, and demonstrate that speech reverberations from inbuilt loudspeakers, at an appropriate loudness, can impact the accelerometer, leaking sensitive information about the speech. In particular, we show that by exploiting the affected accelerometer readings and carefully selecting feature sets along with off-the-shelf machine learning techniques, Spearphone can successfully perform gender classification (accuracy over 90%) and speaker identification (accuracy over 80%) for any audio/video playback on the smartphone. Our results with testing the attack on a voice call and voice assistant response were also encouraging, showcasing the impact of the proposed attack. In addition, we perform speech recognition and speech reconstruction to extract more information about the eavesdropped speech to an extent. Our work brings to light a fundamental design vulnerability in many currently-deployed smartphones, which may put people's speech privacy at risk while using the smartphone in the loudspeaker mode during phone calls, media playback or voice assistant interactions.

연구 동기 및 목표

• 스마트폰의 loudspeaker를 통해 재생된 음성 신호가 가속도계 읽기 값으로 복원될 수 있는지 조사하기.
• 스마트폰 동작 센서에 존재하는 이전에 탐색되지 않은 사이드채널 취약점으로서 음성 정보가 泄露되는 원인을 규명하기.
• 특정 권한 없이 가속도계 데이터와 표준 머신러닝 기법만을 사용하여 실질적인 음성 개인정보 유출 공격을 시연하기.
• 실제 사용 시나리오인 통화 및 음성 보조기기 상호작용에서 성별 분류, 발화자 식별, 음성 복원의 가능성 평가하기.

제안 방법

• 스마트폰의 내장 loudspeaker를 통해 음성을 재생하면서 가속도계 데이터를 캡처하여 음성 반향으로 인한 기계적 진동을 탐지하기.
• 가속도계 신호에서 시간 도메인 및 주파수 도메인 특징을 추출하여 음성과 관련된 패턴을 표현하기.
• SVM 및 신경망을 포함한 표준 머신러닝 모델을 적용하여 추출된 특징에서 성별 분류 및 발화자 식별 수행하기.
• 음성 인식 및 신호 복원 실험을 수행하여 가속도계 트레이스에서 음성의 음소적 내용과 부분적인 음성 웨이브폼을 복원하기.
• 실제 기기에서 통화 및 음성 보조기기 응답을 사용하여 공격의 유효성을 검증하여 일반적인 스마트폰 사용 시나리오 시뮬레이션하기.
• 분류 정확도를 극대화하고 노이즈 간섭을 최소화하기 위해 경험적 분 析를 통해 최적의 특징 세트 선택하기.

실험 결과

연구 질문

• RQ1 스마트폰의 loudspeaker를 통해 재생된 음성 신호가 스마트폰의 가속도계 센서에 감지 가능한 진동을 유도할 수 있는가?
• RQ2 가속도계 읽기 값에서 loudspeaker 반향 음성에 대해 성별 및 발화자 신원을 어느 정도 정확도로 추론할 수 있는가?
• RQ3 가속도계 트레이스에서 충분한 정밀도로 음성 콘텐츠를 복원할 수 있는가, 의미 있는 정보 泄露가 가능한가?
• RQ4 통화 및 음성 보조기기 상호작용과 같은 현실적인 시나리오에서 공격의 효과는 어느 정도인가?

주요 결과

• Spearphone는 스마트폰 loudspeaker 반향에 의한 가속도계 데이터를 사용하여 성별 분류 정확도가 90% 이상을 달성하였다.
• 여러 테스트 케이스에서 스마트폰 음성 재생에 대해 발화자 식별 정확도가 80% 이상을 초과하였다.
• 음성 복원이 가능하여 가속도계 트레이스에서 부분적인 발화 내용을 복구할 수 있었다.
• 스마트폰을 손에 쥐거나 표면 위에 놓는 상황에서도 공격가능성이 유지되어 실제 적용 가능성 높음을 시사하였다.
• 특수 권한이 필요로 하지 않아 표준 보안 메커니즘으로서 감지하기 어려운 스텔스성 있는 공격였다.
• 다양한 스마트폰 모델에서 이 취약성이 확인되어 현재 기기 아키텍처에 널리 퍼져 있는 설계 결함임을 입증하였다.