[논문 리뷰] Unacceptable, where is my privacy? Exploring Accidental Triggers of Smart Speakers

Lea Schönherr, Maximilian Golla외 4명|arXiv (Cornell University)|2020. 08. 02.

User Authentication and Security Systems참고 문헌 37인용 수 16

한 줄 요약

이 논문은 음성 합성(TTS) 기반 음성과 어법적 가중 리벤슈타인 거리 기반으로 8개 제조사의 11대의 스마트 스피커에서 일어나는 실수로 인식되는 웨이크 워드(자신의 웨이크 워드로 잘못 인식되는 소리)를 체계적으로 자동으로 식별하는 방법을 제안한다. 이 연구는 1,000개 이상의 검증된 실수 웨이크 워드를 규명하고, 잘못된 웨이크 워드 활성화로 인한 심각한 개인정보 유출 위험을 드러내며, 의도하지 않은 데이터 수집을 줄이기 위해 투명성 향상, 안전 명령어(safewords), 개인정보 보호 제어 기능 강화를 주장한다.

ABSTRACT

Voice assistants like Amazon's Alexa, Google's Assistant, or Apple's Siri, have become the primary (voice) interface in smart speakers that can be found in millions of households. For privacy reasons, these speakers analyze every sound in their environment for their respective wake word like ''Alexa'' or ''Hey Siri,'' before uploading the audio stream to the cloud for further processing. Previous work reported on the inaccurate wake word detection, which can be tricked using similar words or sounds like ''cocaine noodles'' instead of ''OK Google.'' In this paper, we perform a comprehensive analysis of such accidental triggers, i.,e., sounds that should not have triggered the voice assistant, but did. More specifically, we automate the process of finding accidental triggers and measure their prevalence across 11 smart speakers from 8 different manufacturers using everyday media such as TV shows, news, and other kinds of audio datasets. To systematically detect accidental triggers, we describe a method to artificially craft such triggers using a pronouncing dictionary and a weighted, phone-based Levenshtein distance. In total, we have found hundreds of accidental triggers. Moreover, we explore potential gender and language biases and analyze the reproducibility. Finally, we discuss the resulting privacy implications of accidental triggers and explore countermeasures to reduce and limit their impact on users' privacy. To foster additional research on these sounds that mislead machine learning models, we publish a dataset of more than 1000 verified triggers as a research artifact.

연구 동기 및 목표

• 다양한 스마트 스피커에서 실수로 인식되는 웨이크 워드(실수로 웨이크 워드로 오인되는 소리)를 체계적으로 분석하고 정량화하는 것.
• 클라우드 기반 검증 및 음향 지문 기반 보호 기술이 실수 웨이크 워드를 줄이는 데 얼마나 효과적인지 평가하는 것.
• 어법적 거리 측정 기반으로 실수 웨이크 워드 후보를 자동으로 생성하고 탐지하는 방법을 개발 및 검증하는 것.
• 의도하지 않은 웨이크 워드 활성화로 인한 개인정보 위험을 탐색하고, 실천 가능한 대응 조치를 제안하는 것.

제안 방법

• 저자들은 발음 사전과 신규로 제안된 음소 기반 가중 리벤슈타인 거리를 사용하여 실수 웨이크 워드 후보를 생성한다.
• 텍스트-음성 합성(TTS) 서비스를 활용해 이러한 후보에 대해 음성을 합성하여 실제 스마트 스피커에서의 탐지 가능성을 테스트한다.
• TV 프로그램, 뉴스, 전문 음성 데이터셋 등을 포함한 다양한 오디오 소스를 갖춘 실내 환경을 시뮬레이션하는 통제된 실험 환경을 구축한다.
• 로컬 및 클라우드 기반 웨이크 워드 탐지 시스템을 평가하여, 웨이크 워드 후보가 각각의 검증 레이어를 우회하는지 여부를 판단한다.
• 일致한 조건에서 8개 제조사의 11대의 스마트 스피커를 기준으로 벤치마크를 수행하여 재현 가능성과 공정성을 확보한다.
• 향후 음성 보조 기술의 대비 입력 연구를 지원하기 위해 1,000개 이상의 검증된 실수 웨이크 워드 데이터셋을 공개한다.

실험 결과

연구 질문

• RQ1 다양한 스마트 스피커에서 실수 웨이크 워드는 얼마나 퍼져 있으며, 어떤 요소들이 탐지율에 영향을 미치는가?
• RQ2 클라우드 기반 검증과 음향 지문 기반 기술이 실수 웨이크 워드의 영향을 어느 정도 줄이는가?
• RQ3 어법적 가중 리벤슈타인 거리가 웨이크 워드로 잘못 인식될 가능성이 있는 소리를 효과적으로 식별할 수 있는가?
• RQ4 언어, 성별, 오디오 콘텐츠가 실수 웨이크 워드 발생 확률에 어떤 영향을 미치는가?
• RQ5 의도하지 않은 웨이크 워드 활성화와 관련된 개인정보 유출 위험을 줄이기 위한 실용적인 대응 조치는 무엇인가?

주요 결과

• 저자들은 어법 기반 자동화된 방법을 통해 8개 제조사의 11대 스마트 스피커에서 1,000개 이상의 검증된 실수 웨이크 워드를 성공적으로 식별했다.
• 음소 기반 가중 리벤슈타인 거리의 사용은 표준 리벤슈타인 거리 측정 방식보다 실수 웨이크 워드 후보를 더 효과적으로 식별하는 데 뚜렷한 성능 향상을 보였다.
• 테스트한 모든 스마트 스피커에서 실수 웨이크 워드가 발견되어, 이는 주요 제조사 전반에 걸쳐 널리 퍼져 있는 체계적 문제임을 시사한다.
• 클라우드 기반 검증과 음향 지문 기술은 실수 탐지율을 감소시켰지만 완전히 제거하지는 못했으며, 이는 로컬 탐지 단계가 여전히 취약한 점임을 보여준다.
• 특정 어법적 특성, 특히 일반적인 웨이크 워드와 유사한 초기 또는 종두음소를 가진 소리에서 실수 웨이크 워드 발생 확률이 더 높았다.
• 현재의 개인정보 보호 조치(예: 마이크 음소 끄기 버튼)는 부족하며, 더 안전한 대안으로 안전 명령어(safewords)와 녹음 관리의 투명성 향상을 제안한다.