[논문 리뷰] A Cascade Architecture for Keyword Spotting on Mobile Devices

Alexander Gruenstein, Raziel Álvarez외 2명|arXiv (Cornell University)|2017. 12. 10.

Speech Recognition and Synthesis참고 문헌 7인용 수 33

한 줄 요약

이 논문은 모바일 기기에서 키워드 검색을 위한 저전력, 이단계 연쇄 아키텍처를 제안한다. 첫 번째 단계는 지속적인 청취를 위한 경량 DSP 기반으로 구성되며, 두 번째 단계는 더 정확한 애플리케이션 프로세서 기반으로 구성되며, 사용자 인증 기능을 포함한다. 시스템은 1시간당 0.01 이하의 가짜 경고를 기록하면서도 거짓 기각률이 단지 3.5%에 불과하여 배터리 소모를 최소화하면서도 항상 켜진 상태의 키워드 검출을 가능하게 한다.

ABSTRACT

We present a cascade architecture for keyword spotting with speaker verification on mobile devices. By pairing a small computational footprint with specialized digital signal processing (DSP) chips, we are able to achieve low power consumption while continuously listening for a keyword.

연구 동기 및 목표

• 배터리로 구동되는 모바일 기기에서 배터리 소모를 최소화하면서도 지속적인 저전력 키워드 검색을 가능하게 하기.
• 텔레비전 및 라디오 소음과 같은 실제 환경에서 가짜 경고율을 낮추되, 거짓 기각율을 증가시키지 않기.
• 기기 내 사용자 인증을 통합하여 무단 트리거를 방지하면서도 지연 시간을 최소화하기.
• 메모리 제약과 고정점 연산을 가진 DSP에 정확한 신경망 모델을 구현하기 위해 최적화하기.
• 두 단계로 구성된 연쇄 설계를 통해 계산 부하를 최소화하면서도 높은 정확도의 키워드 검출을 달성하기.

제안 방법

• 시스템은 두 개의 키워드 검출기로 구성된 연쇄 구조를 사용한다: 작은 전력 효율적인 DSP 기반의 첫 번째 단계와 더 큰 정확도를 가진 애플리케이션 프로세서 기반의 두 번째 단계.
• 첫 번째 단계는 실시간 신호 처리를 수행하며, 로그-멜 필터뱅크 특징 추출을 포함하고, 초기 검출을 위해 8비트 정수로 양자화된 신경망을 사용한다.
• 검출가능한 신호가 감지되면, 첫 번째 단계는 두 번째 단계로 2초 분량의 오디오 버퍼를 전달하여 최종 결정을 내린다. 이때 더 복잡한 음성 인코더와 디코더를 사용한다.
• 디코더는 스무딩된 후행 확률에 대해 정규화된 곱셈 점수를 계산하여, L 프레임의 슬라이딩 윈도우를 사용해 키워드 시퀀스를 순서대로 탐지한다.
• 사용자 인증은 두 번째 단계에서 LSTM 기반의 사용자 임베딩 모델을 사용하여 실시간으로 녹음된 음성과 사전 등록된 템플릿 간의 코사인 거리를 비교함으로써 적용된다.
• 신경망 파rameter는 메모리 및 계산 부하를 줄이기 위해 8비트 정수로 양자화되며, 플랫폼 간 일致성을 확보하기 위해 플랫폼 전용 비트 수준 일致성 시뮬레이션을 수행한다.

실험 결과

연구 질문

• RQ1 두 단계로 구성된 연쇄 아키텍처가 실제 음성 환경에서 낮은 가짜 경고율을 유지하면서도 낮은 거짓 기각율을 달성할 수 있는가?
• RQ2 노이즈가 많은 환경에서 몇 분에 한 번 꺼내지 않도록 경량 DSP 기반의 첫 번째 단계를 어떻게 설계할 수 있는가?
• RQ3 기기 내 사용자 인증이 거짓 기각율을 크게 증가시키지 않으면서도 가짜 경고율을 얼마나 줄일 수 있는가?
• RQ4 메모리 제약이 있는 DSP에 정확한 신경망을 고정점 산술 환경에서 배포하기 위해 필요한 양자화 및 최적화 기법은 무엇인가?
• RQ5 서버 측 검증 기능의 통합은 시스템 신뢰성과 음성 인식 정확도를 얼마나 향상시키는가?

주요 결과

• 연쇄 시스템은 TV 배경 소음 924시간 동안 1시간당 0.006회의 가짜 경고율을 기록하여, 첫 번째 단계만 사용할 경우 대비 5~10배의 감소를 기록했다.
• 첫 번째 단계의 가짜 경고율이 1시간당 10.0회였음에도 불구하고, 전체 시스템은 거짓 기각률이 단지 3.5%로 유지되었으며, 이는 두 번째 단계 모델의 성능에 매우 가까웠다.
• 사용자 인증을 통해 다른 사람의 말소리, TV, 라디오 소음 등으로 인한 가짜 경고율이 5배에서 10배 감소했으며, 거짓 기각률은 1%p 미만으로 증가했다.
• 첫 번째 단계 모델은 13kB로 최적화되어 128kB의 DSP 메모리 제약 내에 수용되었으며, 코드에 25kB, 오디오 버퍼에 64kB를 할당했다.
• 8비트 정수로의 양자화는 DSP에서 효율적인 고정점 추론을 가능하게 하였으며, 플랫폼 전용 시뮬레이션을 통해 정확도를 유지했다.
• 서버 측 검증 기능은 추가로 가짜 경고율을 낮추고, 음성 시작 탐지 정확도를 향상시켜 후속 인식 모델의 전체 단어 오류율을 낮추는 데 기여했다.