[논문 리뷰] A neural attention model for speech command recognition

Douglas Coimbra de Andrade, S. Leo외 2명|arXiv (Cornell University)|2018. 08. 27.

Speech Recognition and Synthesis참고 문헌 19인용 수 128

한 줄 요약

논문은 주의 집중(attention) 메커니즘이 포함된 합성곱 양방향 LSTM 모델을 통해 음성 명령 인식을 다루며, 간결한 202K 파라미터로 Google Speech Commands V1 및 V2에서 최첨단 정확도를 보여주고 해석 가능성을 위한 주의 집중 시각화를 제공한다.

ABSTRACT

This paper introduces a convolutional recurrent network with attention for speech command recognition. Attention models are powerful tools to improve performance on natural language, image captioning and speech tasks. The proposed model establishes a new state-of-the-art accuracy of 94.1% on Google Speech Commands dataset V1 and 94.5% on V2 (for the 20-commands recognition task), while still keeping a small footprint of only 202K trainable parameters. Results are compared with previous convolutional implementations on 5 different tasks (20 commands recognition (V1 and V2), 12 commands recognition (V1), 35 word recognition (V1) and left-right (V1)). We show detailed performance results and demonstrate that the proposed attention mechanism not only improves performance but also allows inspecting what regions of the audio were taken into consideration by the network when outputting a given category.

연구 동기 및 목표

• 인터넷 연결이 안정적이지 않은 디바이스에서도 로컬에서 실행 가능한 경량 음성 명령 인식을 동기화합니다.
• KWS 작업의 정확도를 개선하기 위한 새로운 주의 기반 순환 아키텍처를 제안합니다.
• 다중 작업에서 Google Speech Commands 데이터셋 V1 및 V2에 대해 최첨단 결과를 보여줍니다.
• 모델의 의사결정을 해석할 수 있도록 주의 가중치 시각화를 제공합니다.
• 재현성과 추가 연구를 위해 소스 코드를 공개합니다.

제안 방법

• 입력은 원시 WAV 파일에서 numpy 배열로 변환되고 비학습 Kapre 층을 통해 80-band 멜 스케일 스펙트로그램으로 처리됩니다.
• 시간 차원 컨볼루션 단계가 멜-스펙트로그램에서 로컬 시간 특징을 추출합니다.
• 두 개의 축이 있는 양방향 LSTM 층이 순방향 및 역방향 시간 의존성을 포착합니다.
• 중간 LSTM 출력 벡터를 질의로 사용하는 주의 기반 질의 메커니즘이 가중 평균을 계산합니다.
• 가중 컨텍스트는 ReLU 활성화의 세 개의 밀집 층을 거쳐 소프트맥스 분류 층으로 전달됩니다.
• 학습은 시작 학습률 0.001과 감소, 검증 성능 기반 조기 중지, 배치 크기 64로 Adam을 사용합니다.

실험 결과

연구 질문

• RQ1 주요 어휘가 작은 음성 명령 인식에서 주의 기반 RNN이 이전의 가벼운 모델에 비해 정확도를 향상시킬 수 있는가?
• RQ2 ,

주요 결과

• 주의 RNN은 Google Speech Commands 과제에서 최첨단 정확도를 달성합니다: 20-명령어(V1) 94.1%, (V2) 94.5%; 35단어(V1) 94.3%, (V2) 93.9%; 좌우(V1) 99.2%, (V2) 99.4%.
• 모델 크기는 202K 학습 가능한 파라미터로 컴팩트합니다.
• 12-명령 과제에서 주의 RNN은 동일한 파라미터 예산으로 V1에서 95.6% 및 V2에서 96.9%를 달성합니다.
• 주의 시각화는 모음 전이 및 관련 오디오 영역을 강조하여 직관과 일치하며 모델의 해석 가능성을 제공합니다.
• 이전 모델과 비교할 때 주의 RNN은 작은 발자국을 유지하면서 상당한 정확도 향상을 제공합니다.
• 혼동 행렬은 도전적인 쌍(예: “three” vs “tree”, “no” vs “down”)을 드러내며 맥락 정보가 구분을 개선할 수 있음을 시사합니다.