[논문 리뷰] Deep Spoken Keyword Spotting: An Overview

Iván López‐Espejo, Zheng‐Hua Tan외 2명|arXiv (Cornell University)|2021. 11. 20.

Speech and Audio Processing인용 수 1

한 줄 요약

이 논문은 깊이 있는 말하기 키워드 포착(KWS)에 대한 종합적인 개요를 제공하며, 복잡한 HMM 디코딩이 필요하지 않은 딥 네ural 네트워크(DNN) 기반 음성 모델이 키워드 검출을 위한 사후 확률을 생성하는 데 중점을 둔다. 이는 깊이 있는 KWS가 기존의 HMM 기반 시스템에 비해 성능이 뛰어나고 계산 복잡도가 낮음을 보여주며, 특히 저자원 환경에서 유리하다. 또한 모델 압축, 준지도 학습, 다중 채널 KWS와 같은 핵심 연구 방향을 규명한다.

ABSTRACT

Spoken keyword spotting (KWS) deals with the identification of keywords in audio streams and has become a fast-growing technology thanks to the paradigm shift introduced by deep learning a few years ago. This has allowed the rapid embedding of deep KWS in a myriad of small electronic devices with different purposes like the activation of voice assistants. Prospects suggest a sustained growth in terms of social use of this technology. Thus, it is not surprising that deep KWS has become a hot research topic among speech scientists, who constantly look for KWS performance improvement and computational complexity reduction. This context motivates this paper, in which we conduct a literature review into deep spoken KWS to assist practitioners and researchers who are interested in this technology. Specifically, this overview has a comprehensive nature by covering a thorough analysis of deep KWS systems (which includes speech features, acoustic modeling and posterior handling), robustness methods, applications, datasets, evaluation metrics, performance of deep KWS systems and audio-visual KWS. The analysis performed in this paper allows us to identify a number of directions for future research, including directions adopted from automatic speech recognition research and directions that are unique to the problem of spoken KWS.

연구 동기 및 목표

• 연구자와 실무자들이 지원할 수 있도록 깊이 있는 말하기 키워드 포착(KWS)에 대한 체계적인 문헌 리뷰를 제공하기 위해.
• 음성 특징, 음성 모델링, 사후 처리 및 내성 기법 등 깊이 있는 KWS 시스템의 핵심 구성 요소를 분석하기 위해.
• 작은 기기에서의 실질적 KWS 구현 시 성능 저하 요인과 계산 자원 제약을 규명하기 위해.
• 모델 압축, 준지도 학습, 시각-청각 KWS와 같은 새로운 연구 방향을 부각하기 위해.
• 특히 개인화 및 다중 채널 환경에서 자동 음성 인식(ASR)의 발전과 KWS 응용 간 격차를 메우기 위해.

제안 방법

• DNN 기반 음성 모델이 단어 사후 확률을 출력하는 깊이 있는 KWS 시스템에 대한 철저한 리뷰를 수행한다.
• 기존 HMM 기반 시스템에서의 전통적 Viterbi 디코딩을 대체하는 사후 처리 전략을 분석하여 보다 단순하고 빠른 추론을 가능하게 한다.
• MFCC, 필터뱅크, 원시 웨이브폼을 포함한 다양한 음성 특징 추출 방법을 깊이 있는 KWS 맥락에서 평가한다.
• 데이터 증강, 노이즈 주입, 다중 조건 학습과 같은 내성 기법을 검토하여 소음 환경에서의 성능 향상을 도모한다.
• 메모리 및 계산 자원 소비를 줄이기 위해 정량화, 자르기, 지식 정렬과 같은 모델 압축 기법을 검토한다.
• 저자원 KWS 학습을 위한 엔드 투 엔드 학습, 신경망 아키텍처 탐색(NAS), 준지도 학습과 같은 새로운 추세를 논의한다.

실험 결과

연구 질문

• RQ1 깊이 있는 KWS 시스템은 정확도와 계산 효율성 측면에서 기존의 HMM 기반 접근 방식에 비해 어떻게 슈퍼어리어어지는가?
• RQ2 저자원 KWS 응용에 가장 효과적인 음성 특징과 음성 모델 아키텍처는 무엇인가?
• RQ3 모델 압축 기법은 정확도를 유지하면서 메모리 소비와 추론 지연을 어떻게 줄일 수 있는가?
• RQ4 준지도 학습은 클라우드 서비스에서 수집된 대량의 레이블이 없는 음성 데이터를 활용하여 KWS 모델 학습에 어떤 역할을 할 수 있는가?
• RQ5 다중 채널 오디오 처리 및 시각-청각 융합은 실생활의 소음 환경에서 KWS의 내성을 어떻게 향상시킬 수 있는가?

주요 결과

• DNN 기반 깊이 있는 KWS 시스템은 특히 소음이 많거나 자원이 제한된 조건에서 HMM 기반 시스템에 비해 성능 향상이 뚜렷하다.
• 직접 사후 확률 처리를 통해 Viterbi 디코딩을 제거함으로써 계산 복잡도와 추론 지연이 감소하여 엣지 디바이스에 적합한 깊이 있는 KWS가 된다.
• 정량화, 자르기, 지식 정렬과 같은 모델 압축 기법은 메모리와 전력 제약이 엄격한 기기에서 KWS를 구현하는 데 핵심적인 역할을 한다.
• 준지도 학습은 클라우드 서비스에서 수집된 대량의 레이블이 없는 사용자 음성 데이터를 활용하여 레이블링 비용을 줄이는 데 강력한 잠재력을 보인다.
• LRW, LRS2, LRS3와 같은 데이터셋을 사용한 시각-청각 KWS는 유망한 결과를 보이며, 시각적 단서가 어려운 음향 환경에서 내성을 향상시킬 수 있음을 시사한다.
• 빔포밍과 공간 필터링을 통해 성능 향상을 기대할 수 있는 다중 채널 KWS는 잠재력이 크지만 아직 연구가 부족하여 향후 연구의 중요한 기회로 남아 있다.