[논문 리뷰] Sequence-to-sequence Models for Small-Footprint Keyword Spotting

Haitong Zhang, Junbo Zhang외 1명|arXiv (Cornell University)|2018. 11. 01.

Topic Modeling참고 문헌 14인용 수 6

한 줄 요약

이 논문은 고정 슬라이딩 윈도우가 필요 없도록 제거함으로써 엔드 투 엔드 KWS 파이프라인을 단순화하는 시퀀스 투 시퀀스(seq2seq) 키워드 스핑팅 모델을 제안한다. 이로 인해 저지연, 소형 메모리 프로파일을 갖춘 추론이 가능해진다. 단지 약 73K개의 파라미터를 사용하는 GRU 기반 모델은 실제 웨이크업 데이터에서 시간당 0.1개의 잘못 알림이 발생할 경우 3.05%의 잘못 거부율(FRR)을 기록하며, 어텐션 기반 베이스라인을 능가하는 성능을 보이며, 각 프레임의 확률 스무딩을 통해 강건한 성능을 입증한다.

ABSTRACT

In this paper, we propose a sequence-to-sequence model for keyword spotting (KWS). Compared with other end-to-end architectures for KWS, our model simplifies the pipelines of production-quality KWS system and satisfies the requirement of high accuracy, low-latency, and small-footprint. We also evaluate the performances of different encoder architectures, which include LSTM and GRU. Experiments on the real-world wake-up data show that our approach outperforms the recently proposed attention-based end-to-end model. Specifically speaking, with 73K parameters, our sequence-to-sequence model achieves $\sim$3.05\% false rejection rate (FRR) at 0.1 false alarm (FA) per hour.

연구 동기 및 목표

• 기존 엔드 투 엔드 KWS 모델이 임의의 슬라이딩 윈도우나 훈련/디코딩 전략의 불일치에 의존하는 한계를 해결하기 위해.
• 모바일 디바이스에 적합한 경량, 저지연 KWS 시스템을 개발하여 높은 정확도와 작은 메모리 프로파일을 확보하기 위해.
• 시퀀스 투 시퀀스 프레임워크 내에서 다양한 RNN 인코더(LSTM 및 GRU)의 키워드 스핑팅 성능을 평가하기 위해.
• 확률 스무딩이 탐지 강건성과 성능 안정성에 미치는 영향을 조사하기 위해.

제안 방법

• 모델은 입력으로 음성 특징을, 출력으로 각 프레임의 키워드 존재 여부를 나타내는 one-hot 레이블을 사용하는 시퀀스 투 시퀀스 훈련 파rag램을 사용한다.
• TDNN-LSTM 모델의 프레임별 정렬 결과를 사용하여 훈련 레이블을 생성하며, 부분적인 키워드와 같은 모호한 프레임은 -1로 레이블링하고 손실에 대해 0 가중치를 적용한다.
• 어텐션 메커니즘은 인코더의 은닉 상태에서 컨텍스트 벡터를 계산하여 소프트맥스 레이어를 통해 최종 키워드 확률을 산출한다.
• 추론 중에는 모델이 한 프레임씩 처리하며 각 프레임의 탐지 확률을 출력하고, 이는 n개의 연속된 프레임에 걸쳐 스무딩되어 신뢰도가 향상된다.
• 스무딩 연산은 n개의 프레임에 대한 평균 확률을 계산한다: $\hat{y}_t = \frac{1}{n} \sum_{i=t-n+1}^{t} y_i$.
• 모델는 정규화된 가중치 초기화와 Adam 최적화를 사용한 교차 엔트로피 손실로 훈련된다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 키워드 스핑팅에서 고정 슬라이딩 윈도우가 필요 없도록 하는 시퀀스 투 시퀀스 모델이 정확도를 유지하거나 향상시킬 수 있는가?
• RQ2 실제 데이터에서 제안된 seq2seq 모델의 성능은 어텐션 기반 베이스라인 대비 FRR와 FA 비율 측면에서 어떻게 비교되는가?
• RQ3 인코더 아키텍처(LSTM 대비 GRU)와 너비(64 대비 128 유닛)가 모델 정확도와 파라미터 수에 어떤 영향을 미치는가?
• RQ4 프레임별 확률 스무딩은 탐지 강건성과 잘못 거부율을 향상시키는가?

주요 결과

• 1층, 128 유닛을 가진 GRU 기반 seq2seq 모델은 시간당 0.1개의 잘못 알림이 발생할 경우 3.05%의 잘못 거부율(FRR)을 기록하며, 베이스라인 GRU 모델보다 약 20% 향상된 성능을 보였다.
• 1-128 GRU 모델은 단지 73.3K개의 파라미터로도 3.05%의 FRR를 달성하여 높은 효율성과 소형 프로파일을 입증했다.
• 1-128 모델들(LSTM 및 GRU 모두)은 깊이가 더 많거나 너비가 더 작은 변형들보다 뚜렷이 뛰어난 성능을 보이며, 이 설정에서는 넓은 네트워크가 깊은 네트워크보다 더 좋은 성능을 낸다는 것을 시사한다.
• n=12로 확률 스무딩을 적용할 경우, GRU 1-128 모델의 FRR는 스무딩 없이 비교해 0.06% 감소하였으며, 이는 스무딩이 강건성 향상에 효과적이라는 것을 확인한다.
• 베이스라인 모델의 어텐션 메커니즘은 최종 문자에 집중하는 경향이 있었지만, seq2seq 모델은 키워드가 완전히 인식된 후에야 활성화되는 더 인간에 가까운 어텐션 패턴을 학습하였다.