[논문 리뷰] Small-Footprint Open-Vocabulary Keyword Spotting with Quantized LSTM Networks

Théodore Bluche, Maël Primet외 1명|arXiv (Cornell University)|2020. 02. 25.

Speech Recognition and Synthesis인용 수 11

한 줄 요약

이 논문은 연결성 시간 분류(CTC)로 훈련된 양자화된 LSTM 네트워크를 사용하여, 500KB 미만의 모델 크기로 마이크로컨트롤러에서 실시간으로 키워드 검출이 가능한 소형 프로파일, 오픈 뷰어티 키워드 스트링 시스템을 제안한다. CTC 출력 특성의 특성을 활용하여 신뢰도 캘리브레이션과 효율적인 디코딩을 실현함으로써, 키워드 전용 훈련 데이터 없이도 오픈 뷰어티 작업에서 높은 F1 점수를 달성한다.

ABSTRACT

We explore a keyword-based spoken language understanding system, in which the intent of the user can directly be derived from the detection of a sequence of keywords in the query. In this paper, we focus on an open-vocabulary keyword spotting method, allowing the user to define their own keywords without having to retrain the whole model. We describe the different design choices leading to a fast and small-footprint system, able to run on tiny devices, for any arbitrary set of user-defined keywords, without training data specific to those keywords. The model, based on a quantized long short-term memory (LSTM) neural network, trained with connectionist temporal classification (CTC), weighs less than 500KB. Our approach takes advantage of some properties of the predictions of CTC-trained networks to calibrate the confidence scores and implement a fast detection algorithm. The proposed system outperforms a standard keyword-filler model approach.

연구 동기 및 목표

• 키워드 전용 데이터나 재훈련 없이도 사용자가 정의한 임의의 키워드에 대해 실시간으로 디바이스 내에서 키워드 스트링을 가능하게 하는 것.
• IoT 및 엣지 디바이스의 마이크로컨트롤러에 적합한 500KB 이하의 컴act하고 양자화된 신경망 설계.
• CTC로 훈련된 네트워크의 구조적 특성을 활용하여 자연어 쿼리에서 다수의 키워드를 효율적이고 정확하게 검출하는 것.
• 최소한의 계산 오버헤드로 LVCSR 및 키워드 필러 모델과 같은 기존 베이스라인을 오픈 뷰어티 설정에서 능가하는 것.

제안 방법

• 일반적인 ASR 데이터에서 연결성 시간 분류(CTC)로 훈련된 양자화된 장기 단기 기억(LSTM) 네트워크를 사용하여, 키워드 수준의 애너테이션 없이 엔드 투 엔드 학습을 가능하게 한다.
• CTC 점수를 블랭크 프레임 수의 추정치로 나누는 신뢰도 점수 정규화 기법을 사용하여 검출 정확도를 향상시킨다.
• 디코딩 중 블랭크 프레임을 건너뛰는 검출 알고리즘을 적용하여 계산량을 2배 줄였으며, 성능은 유지한다.
• 최소 편집 거리 또는 유사 기준을 사용하여 CTC 출력 레이티스에서 키워드 시퀀스를 식별하기 위해 탐욕적 또는 시퀀스 기반 후처리 단계를 적용한다.
• 가중치 양자화 및 아키텍처 프루닝을 통해 추론 속도와 메모리 프로파일을 최적화하여 500KB 이하의 크기 달성.
• 별도의 필러 모델이 필요 없도록 CTC 네트워크의 발음 후보 확률 예측 능력과 가변 길이 시퀀스 처리 능력을 직접 활용한다.

실험 결과

연구 질문

• RQ1 CTC로 훈련된 양자화된 LSTM 모델은 키워드 전용 미세조정 없이 자연어 쿼리에서 사용자가 정의한 임의의 키워드를 검출할 수 있는가?
• RQ2 블랭크 프레임 추정 기반의 신뢰도 점수 정규화는 오픈 뷰어티 키워드 스트링에서 검출 정확도에 어떤 영향을 미치는가?
• RQ3 디코딩 중 블랭크 프레임을 건너뛰는 것이 속도 및 정확도 측면에서 어떤 성능 향상 효과를 가지는가?
• RQ4 제안된 방법은 LVCSR(Viterbi 디코딩 사용) 및 키워드 필러 모델과 같은 기존 베이스라인과 비교해 오픈 뷰어티 설정에서 어떻게 성능을 냈는가?
• RQ5 500KB 이하의 소형 양자화 모델은 최소한의 지연 시간으로 실제 워크로드의 미니-SLU 작업에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 양자화된 5x96 LSTM 아키텍처를 사용한 제안된 방법은 '스마트 라이트' 데이터셋에서 노이즈 조건에서 F1 점수 0.808을 기록했으며, '세탁기' 데이터셋에서는 0.725를 기록하여 필러 모델 베이스라인을 능가했다.
• 추정된 블랭크 프레임 수로 정규화된 신뢰도 점수(C_nb)는 모든 데이터셋에서 최고의 검출 성능을 보였으며, 원본 신뢰도 점수 대비 F1 점수를 최대 10% 향상시켰다.
• 디코딩 중 블랭크 프레임을 건너뛰는 알고리즘 덕분에 성능을 유지하면서도 두 배의 속도 향상을 달성했다.
• 시퀀스 기반 후처리기법은 탐욕적 접근보다 검출 성능을 향상시켰으며, '세탁기' 데이터셋에서 더 큰 TDNN-LSTM 네트워크를 사용할 때조차 필러 모델을 능가하는 높은 F1 점수를 기록했다.
• 모델 크기를 500KB 이하로 유지하여 마이크로컨트롤러에서 실시간 추론이 가능했으며, 노이즈 환경에서도 뛰어난 강건성을 확보했다.
• LVCSR '트랜스크립트' 베이스라인 및 레이티스 기반 접근 방식을 능가하여, CTC 기반 오픈 뷰어티 스트링이 표준 ASR 파이프라인보다 우월함을 입증했다.