[논문 리뷰] Online Keyword Spotting with a Character-Level Recurrent Neural Network

Kyuyeon Hwang, Minjae Lee외 1명|arXiv (Cornell University)|2015. 12. 30.

Advanced Text Analysis Techniques참고 문헌 19인용 수 32

한 줄 요약

이 논문은 실시간, 저지연 감지가 가능한 연속 음성에서의 엔드 투 엔드, 맥락 인식 키워드 스트링 시스템을 제안한다. 이 시스템은 온라인 연결주의 시간 분류(CTC)로 훈련된 문자 수준의 단방향 RNN을 사용하며, 음성의 사전 분할 없이도 어휘 모델이나 발음 전사 없이 키워드를 검출한다. 높은 정확도를 달성하며, 특히 단음절 키워드에서 뛰어난 성능을 보이며, DNN-HMM 기반 기준 대비 6%의 계산량만을 요구하고, 재학습 없이도 동적 키워드 업데이트가 가능하다.

ABSTRACT

In this paper, we propose a context-aware keyword spotting model employing a character-level recurrent neural network (RNN) for spoken term detection in continuous speech. The RNN is end-to-end trained with connectionist temporal classification (CTC) to generate the probabilities of character and word-boundary labels. There is no need for the phonetic transcription, senone modeling, or system dictionary in training and testing. Also, keywords can easily be added and modified by editing the text based keyword list without retraining the RNN. Moreover, the unidirectional RNN processes an infinitely long input audio streams without pre-segmentation and keywords are detected with low-latency before the utterance is finished. Experimental results show that the proposed keyword spotter significantly outperforms the deep neural network (DNN) and hidden Markov model (HMM) based keyword-filler model even with less computations.

연구 동기 및 목표

• 부분 단어 매칭에서 거짓 양성 결과가 발생하기 쉬운 전통적인 HMM 기반 키워드 스트링 기술의 한계를 해결한다.
• 키워드 스트링 시스템에서 발음 전사, 세노드 모델링 또는 고정 어휘집이 필요로 하는 문제를 해결한다.
• 사전 분할 없이 연속된 오디오 스트림에서 실시간, 온라인 키워드 감지를 저지연으로 구현한다.
• 프론트엔드 RNN을 재학습하지 않고도 동적 키워드 업데이트 메커니즘을 제공한다.
• RNN 언어 학습을 통한 맥락 모델링을 통해 짧고 모호한 키워드(예: 단음절어)의 검출 정확도를 향상시킨다.

제안 방법

• 문자 수준의 음성 모델링을 위해 피크홀(peek) 연결과 잊기 게이트를 갖춘 깊이 있는 단방향 LSTM 네트워크를 사용한다.
• 원시 오디오 특징를 문자 및 단어 경계 레이블로 매핑하기 위해 엔드 투 엔드로 RNN을 온라인 CTC로 훈련시킨다.
• RNN의 소프트 문자 수준 출력에서 키워드 후행 확률을 계산하는 단순한 백엔드 디코더를 사용한다.
• 긴 연결된 오디오 스트림에서 정방향 및 역방향 단계를 동기화하여 온라인 CTC 훈련을 적용함으로써 실시간 추론을 가능하게 한다.
• 키워드가 더 긴 단어의 부분 문자열로 나타날 경우 거짓 양성 결과를 줄이기 위해 단어 경계 레이블을 도입한다.
• 성능 저하 없이 계산 비용을 줄이기 위해 디코더에서 합산-최대 근사법을 적용한다.

실험 결과

연구 질문

• RQ1 온라인 CTC 훈련을 갖춘 문자 수준의 RNN은 사전 분할 없이 연속 음성에서 저지연, 맥락 인식 키워드 스트링을 달성할 수 있는가?
• RQ2 단어 경계 레이블의 포함이 더 긴 단어 안에 포함된 키워드에 대해 거짓 양성 결과를 크게 줄이는가?
• RQ3 RNN이 엔드 투 엔드로 약한 언어 모델과 단어 경계를 학습할 수 있는가? 이를 통해 외부 어휘집이나 언어 모델이 필요 없어지는가?
• RQ4 기존의 DNN-HMM 하이브리드 모델과 비교해 본다면, 특히 짧거나 단음절 키워드에 대해 정확도와 효율성 측면에서 어떻게 성능을 냈는가?
• RQ5 시스템이 프론트엔드 RNN을 재학습하지 않고도 얼마나 넓은 범위로 동적 키워드 업데이트를 지원할 수 있는가?

주요 결과

• 제안된 CTC 기반 키워드 스트링기는 Set A(다음절 키워드)에서 F1 스코어 0.980을 기록하여 DNN-HMM 기준(0.936)을 크게 앞서며 뛰어난 성능을 보였다.
• Set B(단음절 키워드)에서는 F1 스코어 0.847을 기록했고, DNN-HMM 기준은 단지 0.517에 그쳐 맥락 인식 능력이 뛰어나다는 것을 입증했다.
• 소형 CTC 모델(3x128 네트워크 크기)은 Set A에서 F1 스코어 0.964, Set B에서 0.806를 기록했으며, DNN-HMM 기준 대비 계산량의 6%만을 소비했다.
• 디코더에서의 합산-최대 근사법은 검출 정확도를 떨어뜨리지 않으며, 효율적인 추론을 가능하게 한다.
• 발화 종료 후 키워드 검출 지연이 200ms 미만이었으며, 인간 반응 시간과 유사했다.
• RNN을 재학습하지 않고도 백엔드 디코더를 통해 동적 키워드 추가 및 수정이 가능하여, 탄력적인 구현이 가능했다.