[논문 리뷰] WearID: Wearable-Assisted Low-Effort Authentication to Voice Assistants using Cross-Domain Speech Similarity

Chen Wang, Cong Shi외 3명|arXiv (Cornell University)|2020. 03. 20.

Speech Recognition and Synthesis참고 문헌 27인용 수 6

한 줄 요약

WearID는 사용자 착용 기기의 동작 센서와 VA의 마이크 간의 교차 도메인 음성 유사도를 이용해 음성 보조 기기의 음성 명령을 검증하는 저비용의 웨어러블 기반 인증 시스템이다. 동작 센서의 짧은 반응 거리와 고유한 음향 반응 특성을 활용하여, 정상 조건에서 99.8%의 정확도를 달성하고, 모조, 재생, 음성 숨기기, 초음파 공격 등의 위조 명령의 97%를 탐지한다.

ABSTRACT

Due to the open nature of voice input, voice assistant (VA) systems (e.g., Google Home and Amazon Alexa) are under a high risk of sensitive information leakage (e.g., personal schedules and shopping accounts). Though the existing VA systems may employ voice features to identify users, they are still vulnerable to various acoustic attacks (e.g., impersonation, replay and hidden command attacks). In this work, we focus on the security issues of the emerging VA systems and aim to protect the users' highly sensitive information from these attacks. Towards this end, we propose a system, WearID, which uses an off-the-shelf wearable device (e.g., a smartwatch or bracelet) as a secure token to verify the user's voice commands to the VA system. In particular, WearID exploits the readily available motion sensors from most wearables to describe the command sound in vibration domain and check the received command sound across two domains (i.e., wearable's motion sensor vs. VA device's microphone) to ensure the sound is from the legitimate user.

연구 동기 및 목표

• 모조, 재생, 음성 숨기기, 초음파 공격 등의 음향 모조 공격으로부터 음성 보조 기기(VA) 시스템의 취약성을 해결한다.
• 일정 및 구매 계정과 같은 민감한 사용자 데이터가 음성 명령을 통해 무단으로 접근당하는 것을 방지한다.
• 스마트워치 등 일반 소매 제품의 웨어러블 기기들을 안전하고 저비용의 두 번째 인증 요소로 활용한다.
• 음성(마이크)과 진동(동작 센서) 모odal 간의 교차 도메인 검증을 통해 기존의 오직 음성 기반 생체 인증을 뛰어넘는 보안성을 향상시킨다.
• 다른 샘플링 속도(8000Hz 대비 200Hz)와 감지 특성을 지닌 두 모달의 데이터를 진정성 유지하면서 의미 있는 방식으로 비교하는 방법을 개발한다.

제안 방법

• 웨이크 워드(예: 'OK Google')를 사용해 WearID 인증 프로세스를 트리거한다.
• 동시에 VA 마이크(음성 도메인)와 웨어러블의 가속도계(진동 도메인)를 통해 동일한 음성 명령을 캡처한다.
• 동작 센서의 고유한 주파수 응답 특성을 활용해 음성과 진동 응답 간의 복잡한 관계를 모델링한다.
• 고속도 마이크로폰 데이터(8000Hz)를 동작 센서의 응답에 맞는 저주파수 데이터(200Hz)로 변환하여 교차 도메인 비교를 수행한다.
• 변환된 마이크로폰 데이터의 스펙트로그램과 실제 동작 센서 데이터 간의 2차원 상관관계를 계산하여 유사도를 평가한다.
• 최종 상관관계 계수를 진정성 측정 지표로 사용한다—높은 상관관계는 정상 사용자를, 낮은 상관관계는 모조 공격를 나타낸다.

실험 결과

연구 질문

• RQ1 VA 마이크와 웨어러블 동작 센서 간의 교차 도메인 음성 유사도가 위조된 음성 명령을 효과적으로 탐지할 수 있는가?
• RQ2 동작 센서의 짧은 반응 거리(25cm)와 고유한 음향 반응이 모조 및 재생 공격에 대한 저항력을 향상시키는가?
• RQ3 기존의 음성 기반 생체 인증이 회피하는 청취 불가능한 공격, 예를 들어 숨겨진 음성 명령 및 초음파 공격을 WearID가 탐지할 수 있는가?
• RQ4 다른 샘플링 속도(8000Hz 대비 200Hz)를 지닌 두 모달의 데이터를 어떻게 의미 있는 방식으로 비교할 수 있는가?
• RQ5 기존의 생체 인식 검증 또는 가상 단추와 비교했을 때 WearID는 사용자 행동에 얼마나 적은 노력이 필요한가?

주요 결과

• WearID는 정상 조건에서 정상 음성 명령을 검증할 때 99.8%의 정확도를 달성한다.
• 모조, 재생, 숨겨진 음성, 초음파 공격 등 다양한 공격 유형에 대해 97%의 위조 명령을 탐지한다.
• 정상 명령의 중앙값 2차원 상관관계 계수는 화웨이 워치 2의 경우 0.5, LG 유바른 W150의 경우 0.4이며, 이는 숨겨진 음성 명령에서 관찰된 0.05와 0.05보다 유의미하게 높다.
• 초음파 공격(15–25kHz)은 효과적으로 차단된다—VA 마이크는 반응하지만, 두 스마트워치의 동작 센서는 반응하지 않는다.
• 시스템은 동작 센서의 반응 특성(짧은 반응 거리, 고유한 주파수 응답)에 의존하기 때문에, 공격자가 교차 도메인 유사성을 모조하기가 어렵다.
• 웨이크 워드 감지 시 자동으로 작동하므로, 단추 누르기나 VA 기기와의 가까운 거리 유지가 필요 없어 사용자 행동에 최소한의 노력이 소요된다.