[논문 리뷰] Fingerprinting Encrypted Voice Traffic on Smart Speakers with Deep Learning

Chenggang Wang, Seán Kennedy외 6명|arXiv (Cornell University)|2020. 05. 20.

Internet Traffic Analysis and Secure E-voting참고 문헌 43인용 수 5

한 줄 요약

이 논문은 스마트 스피커에서 암호화된 트래픽으로부터 얻은 사이드 채널 정보를 활용해 암호화된 트래픽 내 음성 명령어를 정밀하게 식별하는 딥러닝 기반 공격 기법을 제안한다. 인간의 목소리에 큰 변동성이 있음에도 불구하고, 오직 수신 서버 트래픽만을 사용해 아마존 에코에서 92.89%의 정확도를 달성하며, 결정론적인 AI 생성 응답이 암호화된 트래픽 내에서 식별 가능한 패턴을 남긴다는 점을 드러내며 심각한 프라이버시 위험을 노출시킨다.

ABSTRACT

This paper investigates the privacy leakage of smart speakers under an encrypted traffic analysis attack, referred to as voice command fingerprinting. In this attack, an adversary can eavesdrop both outgoing and incoming encrypted voice traffic of a smart speaker, and infers which voice command a user says over encrypted traffic. We first built an automatic voice traffic collection tool and collected two large-scale datasets on two smart speakers, Amazon Echo and Google Home. Then, we implemented proof-of-concept attacks by leveraging deep learning. Our experimental results over the two datasets indicate disturbing privacy concerns. Specifically, compared to 1% accuracy with random guess, our attacks can correctly infer voice commands over encrypted traffic with 92.89\% accuracy on Amazon Echo. Despite variances that human voices may cause on outgoing traffic, our proof-of-concept attacks remain effective even only leveraging incoming traffic (i.e., the traffic from the server). This is because the AI-based voice services running on the server side response commands in the same voice and with a deterministic or predictable manner in text, which leaves distinguishable pattern over encrypted traffic. We also built a proof-of-concept defense to obfuscate encrypted traffic. Our results show that the defense can effectively mitigate attack accuracy on Amazon Echo to 32.18%.

연구 동기 및 목표

• 암호화된 트래픽 분석을 통해 스마트 스피커에서 발생하는 프라이버시 유출 문제를 조사하며, 특히 음성 명령어 식별에 초점을 맞춘다.
• 연구를 위해 아마존 에코와 구글 홈에서 대규모 암호화된 음성 트래픽 데이터셋을 구축한다.
• 암호 해독 없이도 사이드 채널 트래픽 특징에서 음성 명령어를 추론하는 딥러닝 모델을 개발하고 평가한다.
• 사용자 목소리의 변동성과 무관하게 오직 수신 서버 트래픽만을 사용한 공격의 효과성을 평가한다.
• 암호화된 트래픽을 왜곡함으로써 식별 정확도를 낮추는 방어 기법을 설계하고 평가한다.

제안 방법

• 실제 환경 조건에서 아마존 에코와 구글 홈의 대규모 암호화된 음성 트래픽을 자동으로 수집할 수 있는 도구를 구축했다.
• 사용자 → 서버 방향의 출발 트래픽과 서버 → 사용자 방향의 수신 트래픽을 포함한 수천 건의 음성 명령어 트레이스를 포함한 두 개의 데이터셋을 수집했다.
• 패킷 특징(크기, 방향, 순서)의 수치적 표현을 기반으로 CNN, LSTM, SAE 세 가지 딥러닝 모델을 설계하고 훈련시켜 음성 명령어를 분류했다.
• 분류 정확도를 극대화하기 위해 그리드 서치와 베이지안 최적화를 활용해 하이퍼파라미터를 최적화했다.
• 트래픽 패턴을 왜곡하고 식별 정확도를 낮추기 위해 무작위 지연과 패킷 패딩을 도입한 방어 기법을 구현했다.
• 검증용 테스트 세트를 사용해 공격 및 방어 성능을 정확도, 정밀도, F1 점수 등의 표준 지표로 평가했다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 스마트 스피커의 암호화된 트래픽에서 음성 명령어를 높은 정확도로 추론할 수 있는가?
• RQ2 사용자 목소리의 변동성과 무관하게 오직 수신 서버 트래픽만을 사용할 경우 음성 명령어 식별이 어느 정도 가능할 수 있는가?
• RQ3 서버 측에서 결정론적인 AI 응답이 암호화된 통신 내에서 식별 가능한 트래픽 패턴을 어떻게 생성하는가?
• RQ4 실용적인 방어 기법이 트래픽 왜곡을 통해 식별 공격을 효과적으로 완화할 수 있는가?
• RQ5 다양한 신경망 아키텍처(CNN, LSTM, SAE)는 이 작업에서 어떤 성능을 보이는가?

주요 결과

• 제안된 딥러닝 공격은 아마존 에코에서 출발 및 수신 트래픽을 모두 사용해 음성 명령어 추론에 92.89%의 정확도를 달성했으며, 무작위 추측 기준 1%보다 훨씬 높은 성능을 보였다.
• 오직 수신 서버 트래픽만을 사용한 경우에도 아마존 에코에서 85.67%의 정확도를 유지하며, 서버 측 응답 패턴이 매우 식별 가능하다는 점을 입증했다.
• 사용자 목소리의 높은 변동성에도 불구하고, 서버 측에서 생성되는 결정론적 AI 응답이 일관된 트래픽 패턴을 만들어내어 공격이 효과적으로 작동함을 확인했다.
• 제안된 방어 기법은 아마존 에코에서 공격 정확도를 32.18%로 낮춰 프라이버시 유출을 크게 완화시켰다.
• 특히 오직 수신 트래픽만을 사용할 경우, LSTM과 SAE 모델이 CNN보다 뛰어난 성능을 보였으며, 이는 시간적 패턴을 효과적으로 포착할 수 있음을 시사한다.
• 하이퍼파라미터 최적화가 모델 성능 향상에 크게 기여했으며, 수신 전용과 양방향 트래픽 설정 간 최적 설정이 상이함을 확인했다.