[논문 리뷰] Attention-based End-to-End Models for Small-Footprint Keyword Spotting

Changhao Shan, Junbo Zhang외 2명|arXiv (Cornell University)|2018. 03. 29.

Speech Recognition and Synthesis참고 문헌 15인용 수 9

한 줄 요약

이 논문은 소형 프로파일 키워드 스로잉(KWS)를 위한 어텐션 기반 엔드 투 엔드 신경망 모델을 제안한다. 인코더(LSTM, GRU 또는 CRNN)를 사용한 후 소프트 어텐션 메커니즘을 통해 키워드 검출을 위한 고정 길이의 컨텍스트 벡터를 생성한다. 약 84K개의 파라미터만을 사용함으로써, CRNN 기반 모델은 시간당 1.0개의 잘못 알림(false alarm)에서 1.02%의 잘못 거부율(false rejection rate)을 달성하여 Deep KWS를 크게 능가하고 소형 프로파일 KWS 분야에서 새로운 최고 성능을 기록한다.

ABSTRACT

In this paper, we propose an attention-based end-to-end neural approach for small-footprint keyword spotting (KWS), which aims to simplify the pipelines of building a production-quality KWS system. Our model consists of an encoder and an attention mechanism. The encoder transforms the input signal into a high level representation using RNNs. Then the attention mechanism weights the encoder features and generates a fixed-length vector. Finally, by linear transformation and softmax function, the vector becomes a score used for keyword detection. We also evaluate the performance of different encoder architectures, including LSTM, GRU and CRNN. Experiments on real-world wake-up data show that our approach outperforms the recent Deep KWS approach by a large margin and the best performance is achieved by CRNN. To be more specific, with ~84K parameters, our attention-based model achieves 1.02% false rejection rate (FRR) at 1.0 false alarm (FA) per hour.

연구 동기 및 목표

• HMM, 그래프 검색, 프레임 수준의 정렬과 같은 복잡한 구성 요소를 제거함으로써 생산 수준의 KWS 파이프라인을 단순화하기 위해.
• 장치 내에서 구동 가능한 소형 프로파일, 저지연 시간 KWS 시스템을 개발하기 위해.
• 기존 엔드 투 엔드 모델인 Deep KWS보다 정확도를 향상시키면서도 최소한의 모델 크기를 유지하기 위해.
• 다양한 인코더 아키텍처(LSTM, GRU, CRNN)와 어텐션 메커니즘(평균, 소프트)이 KWS 성능에 미치는 영향을 조사하기 위해.

제안 방법

• 모델은 원시 음성 특징을 고수준 표현으로 변환하기 위해 순환 인코더(LSTM, GRU 또는 CRNN)를 사용한다.
• 인코더의 은닉 상태에 대해 정규화된 가중치를 계산함으로써 관련 있는 시간적 세그먼트에 집중하는 어텐션 메커니즘이 구현된다.
• 가중치가 적용된 컨텍스트 벡터는 선형 변환과 소프트맥스를 거쳐 키워드 검출 점수를 생성한다.
• 소프트 어텐션은 입력의 주목할 만한 부분에 동적으로 주목함으로써 가변 길이의 키워드에 대한 강건성을 향상시킨다.
• 사전에 계산된 정렬 또는 후행 확률이 필요 없이 엔드 투 엔드로 모델을 훈련시킨다.
• 실시간 추론을 위해 창 크기(189 프레임), 프레임 이격(1), 슬라이딩 윈도우(100 프레임)와 같은 하이퍼파라미터가 최적화되었다.

실험 결과

연구 질문

• RQ1 소프트웨어 크기와 저지연 시간이 최소화된 상태에서 어텐션 기반 엔드 투 엔드 모델이 뛰어난 키워드 스로잉 성능을 달성할 수 있는가?
• RQ2 소형 프로파일 KWS에서 정확도와 파라미터 효율성 측면에서 다양한 인코더 아키텍처(LSTM, GRU, CRNN)는 어떻게 비교되는가?
• RQ3 실제 환경 조건에서 소프트 어텐션 메커니즘이 평균 어텐션보다 더 우수한 성능을 보이는가?
• RQ4 GRU 인코더에 컨볼루션 계층을 추가함으로써(즉, CRNN로 구성함) 검출 성능을 추가로 향상시킬 수 있는가?

주요 결과

• CRNN 기반 어텐션 모델은 약 84K개의 파라미터만을 사용하여 시간당 1.0개의 잘못 알림에서 1.02%의 잘못 거부율(FRR)을 달성하여 가장 뛰어난 성능을 보였다.
• 소프트 어텐션 메커니즘이 일관되게 평균 어텐션보다 뛰어나, 동일한 FA 비율에서 Deep KWS 대비 FRR를 4% 이상 감소시켰다.
• GRU 기반 모델은 동일한 크기의 LSTM 모델보다 성능이 뛰어나, 1-128 GRU 모델은 시간당 1.0개의 잘못 알림에서 1.49%의 FRR를 기록했다.
• GRU 인코더에 컨볼루션 계층을 추가함으로써(CRNN로 구성) 성능 향상이 이루어졌으며, 16채널 모델이 8채널 모델보다 우수한 성능을 보였다.
• 16-2-64 CRNN 모델은 테스트된 모든 구성 중에서 가장 낮은 FRR(1.02%)를 기록했다.
• ROC 곡선 분석 결과, CRNN 및 GRU 모델은 특히 낮은 잘못 알림 비율에서 LSTM 모델보다 뚜렷하게 뛰어난 성능을 보였다.