[논문 리뷰] Smart speaker design and implementation with biometric authentication and advanced voice interaction capability

Bharath Sudharsan, Peter Corcoran외 1명|arXiv (Cornell University)|2019. 01. 01.

Speech Recognition and Synthesis참고 문헌 10인용 수 16

한 줄 요약

이 논문은 라즈베리 파이, ReSpeaker v2 마이크 어레이, 카메라 모듈을 사용하여 생체 인식 얼굴 인증과 고급 음성 상호작용을 통합한 프로토타입 스마트 스피커를 제시한다. 128차원의 딥 메트릭 네트워크를 통한 실시간 얼굴 인식과 Snowboy 웨이크워드 감지, Alexa 음성 서비스를 결합함으로써, 자격 증명이 확인된 사용자에게만 안전하고 손을 쓰지 않고 활성화할 수 있도록 하여 무단 접근 위험을 크게 줄이고, 동시에 낮은 CPU 사용량과 이중방향 음성 상호작용을 유지한다.

ABSTRACT

Advancements in semiconductor technology have reduced dimensions and cost while improving the performance and capacity of chipsets. In addition, advancement in the AI frameworks and libraries brings possibilities to accommodate more AI at the resource-constrained edge of consumer IoT devices. Sensors are nowadays an integral part of our environment which provide continuous data streams to build intelligent applications. An example could be a smart home scenario with multiple interconnected devices. In such smart environments, for convenience and quick access to web-based service and personal information such as calendars, notes, emails, reminders, banking, etc, users link third-party skills or skills from the Amazon store to their smart speakers. Also, in current smart home scenarios, several smart home products such as smart security cameras, video doorbells, smart plugs, smart carbon monoxide monitors, and smart door locks, etc. are interlinked to a modern smart speaker via means of custom skill addition. Since smart speakers are linked to such services and devices via the smart speaker user’s account. They can be used by anyone with physical access to the smart speaker via voice commands. If done so, the data privacy, home security and other aspects of the user get compromised. Recently launched, Tensor Cam’s AI Camera, Toshiba’s Symbio, Facebook’s Portal are camera-enabled smart speakers with AI functionalities. Although they are camera-enabled, yet they do not have an authentication scheme in addition to calling out the wake-word. This paper provides an overview of cybersecurity risks faced by smart speaker users due to lack of authentication scheme and discusses the development of a state-of-the-art camera-enabled, microphone arraybased modern Alexa smart speaker prototype to address these risks. Keywords: Alexa Voice Service, Snowboy hotword detection, Smart speaker design, Microphone array, ReSpeaker, Voice algorithms, Open CV, Smart speaker authentication.

연구 동기 및 목표

• 웨이크워드 활성화 외에 강력한 사용자 인증이 없는 탓에 증가하는 스마트 스피커의 사이버보안 위험을 해결하기 위해.
• 낮은 비용의 엣지 기반 스마트 스피커 프로토타입을 제작하고, 상용 부품을 사용하여 보안성과 프라이버시를 향상시키기 위해.
• 생체 인식 얼굴 인식과 음성 상호작용을 통합하여 스마트 스피커 서비스에 안전하고 개인화되며 원활한 사용자 접근을 가능하게 하기 위해.
• 라즈베리 파이와 같은 자원이 제한된 엣지 장치에서 얼굴 인식, 음성 웨이크워드 감지, 이중방향 오디오 처리를 결합하는 것의 실현 가능성과 성능을 평가하기 위해.

제안 방법

• 노이즈 제거 및 빔포밍을 위한 내장 DSP 기능을 갖춘 4마이크 어레이를 사용한 라즈베리 파이 기반 스마트 스피커 프로토타입을 구축했다.
• 실시간 얼굴 검출 및 인식을 위해 라즈베리 파이 카메라 모듈을 사용하여 라이브 비디오 프레임을 캡처하고, 128차원 얼굴 임베딩을 생성하는 딥 메트릭 네트워크를 활용했다.
• 등록된 사용자 얼굴 이미지 데이터셋을 사용해 얼굴 인식 모델을 훈련시켰으며, 추론 시 빠른 비교를 위해 사전 계산된 128차원 인코딩을 .pickle 파일에 저장했다.
• Snowboy를 웨이크워드 엔진으로 사용하여 'Alexa' 감지에 낮은 CPU 사용량(<8%)과 높은 정확도를 달성했으며, 잘못된 감지와 누락 감지를 최소화했다.
• Amazon의 Alexa 음성 서비스(ASV) C++ SDK에 연결하여 생체 인식 인증에 성공한 후 클라우드 기반 음성 상호작용을 가능하게 했다.
• 성공적인 얼굴 인식 및 웨이크업 시 RGB LED 고리가 녹색으로 변하는 시각 피드백 시스템을 구현했다.

실험 결과

연구 질문

• RQ1 저비용 엣지 기반 스마트 스피커 프로토타입이 생체 인식 얼굴 인증을 효과적으로 통합하여 무단 접근을 방지할 수 있는가?
• RQ2 자원이 제한된 하드웨어에서 얼굴 인식과 음성 웨이크워드 감지 기능을 결합할 경우 성능 저하 없이 보안성이 향상되는가?
• RQ3 배경 소음과 음향 에코는 음성 상호작용 품질에 어떤 영향을 미치며, 이중방향 시스템에서 이를 어떻게 완화할 수 있는가?
• RQ4 128차원의 딥 메트릭 네트워크를 사용할 경우, 라즈베리 파이에서 정확하고 효율적인 얼굴 인식이 가능한가?
• RQ5 사용자 정의 스마트 스피커 프로토타입이 낮은 전력 소비를 유지하면서도 원활하고 안전하며 개인화된 Alexa 상호작용을 달성할 수 있는가?

주요 결과

• 프로토타입은 Alexa 활성화 이전에 얼굴 인식을 요구함으로써 무단 접근 위험을 효과적으로 줄였으며, '파랑새 공격'이나 '호기심 많은 어린이'의 오용과 같은 위협을 제거했다.
• Snowboy는 낮은 누락 감지율과 높은 정확도를 기록했으며, CPU 사용량이 8% 미만이었고, 테스트 환경에서 다른 웨이크워드 엔진보다 뛰어난 성능을 보였다.
• 경량 딥 메트릭 네트워크를 사용함으로써 라즈베리 파이에서 실시간 성능을 달성했으며, 128차원 얼굴 임베딩의 계산과 비교를 효율적으로 수행할 수 있었다.
• ReSpeaker v2의 DSP 기반 빔포밍과 노이즈 제거 기능 통합으로 음성 신호 품질이 크게 향상되어, 소음 환경에서도 음성 인식 정확도가 향상되었다.
• 웨이크워드 감지 후 약 0.5초의 지연이 발생했으나, 이는 수용 가능한 수준이었으며, 오디오 왜곡 발생 시 라즈베리 파이를 재시작함으로써 해결되었다.
• 생체 인증 이후 프로토타입은 Alexa와의 이중방향 상호작용을 성공적으로 구현했으며, RGB LED 고리의 시각 피드백을 통해 사용자 인식을 확인할 수 있었다.