[논문 리뷰] An End-to-End Architecture for Keyword Spotting and Voice Activity Detection

Christopher T. Lengerich, Awni Hannun|arXiv (Cornell University)|2016. 11. 28.

Speech Recognition and Synthesis참고 문헌 11인용 수 32

한 줄 요약

이 논문은 연결주의 시계열 분류(CTC)와 양방향 게이트형 순환단위(BLSTM)를 기반으로 하는 단일 엔드 투 엔드 딥 러닝 아키텍처를 제안하며, 재학습 없이 키워드 스핑팅(KWS)과 음성 활성 감지(VAD)를 동시에 수행한다. 모델은 KWS에서 5%의 가짜 양성률에서 98.1%의 참 양성률을 달성하고 VAD에서는 99.8%를 기록하여 강력한 베이스라인을 능가한다. 또한 정렬된 학습 데이터나 별도의 모델 유지보수를 필요로 하지 않는다.

ABSTRACT

We propose a single neural network architecture for two tasks: on-line keyword spotting and voice activity detection. We develop novel inference algorithms for an end-to-end Recurrent Neural Network trained with the Connectionist Temporal Classification loss function which allow our model to achieve high accuracy on both keyword spotting and voice activity detection without retraining. In contrast to prior voice activity detection models, our architecture does not require aligned training data and uses the same parameters as the keyword spotting model. This allows us to deploy a high quality voice activity detector with no additional memory or maintenance requirements.

연구 동기 및 목표

• 재학습 없이도 키워드 스핑팅(KWS)과 음성 활성 감지(VAD)를 동시에 수행할 수 있는 단일 신경망 아키텍처를 개발하는 것.
• 음성 활성 감지에서 프레임 수준의 정렬 레이블이나 수작업으로 설계된 특징을 제거하는 것.
• 수정된 CTC 점수 계산 알고리즘을 사용해 온라인 키워드 스핑팅을 위한 저지연, 실시간 추론을 가능하게 하는 것.
• 학습 중 합성 노이즈를 사용한 데이터 증강을 통해 소음 환경에서의 모델 강인성을 향상시키는 것.
• KWS와 VAD 작업 간 모델 파라미터를 공유함으로써 구현 및 유지보수 오버헤드를 줄이는 것.

제안 방법

• 모델은 2차원 합성곱층을 거쳐 세 개의 게이트형 순환층(BLSTM)과 최종 소프트맥스층을 거쳐 문자 수준의 확률을 출력하며, 빈 토큰과 공백 토큰을 포함한다.
• 정렬되지 않은 문자 수준의 전사본에 대해 엔드 투 엔드로 학습되며, 강제 정렬이 필요 없도록 연결주의 시계열 분류(CTC) 손실 함수를 사용한다.
• 키워드 스핑팅을 위해 수정된 CTC 점수 계산 알고리즘이 적용되며, 키워드의 첫 번째와 마지막 문자 주변에 와일드카드를 두어 윈도우 크기 민감도를 감소시킨다.
• 음성 활성 감지를 위해 음성 확률은 프레임 윈도우 내에서 빈 토큰의 누적 확률의 1에서 빼서 유도한다.
• 새로운 추론 알고리즘은 시간 스텝과 레이블 위치를 동적으로 추적함으로써 키워드에 대한 CTC 점수를 계산한다.
• 모델은 526,000개의 전사된 발화, 1,544개의 키워드 예제, 57,000개의 노이즈 클립을 조합하여 학습되었으며, 키워드 데이터는 10번의 랜덤 노이즈 클립 추가를 통해 데이터 증강되었다.

실험 결과

연구 질문

• RQ1 단일 엔드 투 엔드 신경망 아키텍처가 공유된 파라미터를 사용해 키워드 스핑팅과 음성 활성 감지 모두를 수행할 수 있는가?
• RQ2 CTC 기반 모델이 VAD에 대해 정렬된 프레임 레이블이 없이도 높은 정확도를 달성할 수 있는가?
• RQ3 학습 중 합성 노이즈를 사용한 데이터 증강이 소음 환경에서의 모델 강인성에 어떤 영향을 미치는가?
• RQ4 모델의 깊이와 너비가 KWS 및 VAD 작업의 성능 향상에 어느 정도 기여하는가?
• RQ5 저지연을 유지하면서도 높은 탐지 정확도를 확보할 수 있는 온라인 키워드 스핑팅을 위한 추론 알고리즘을 설계할 수 있는가?

주요 결과

• 제안된 모델은 키워드 스핑팅에서 5%의 가짜 양성률에서 참 양성률 98.1%를 달성했으며, DNN-HMM 베이스라인(96.2%)을 능가한다.
• 음성 활성 감지에서는 5%의 가짜 양성률에서 참 양성률 99.8%를 기록했으며, WebRTC VAD 베이스라인(44.6%)을 크게 앞서 간다.
• 학습 중 합성 노이즈를 추가하면 KWS 성능이 5%의 가짜 양성률에서 참 양성률 94.3%에서 98.9%로 향상된다.
• VAD 성능은 모델의 깊이가 2층을 초과하거나 너비가 128 단위를 초과하면 포화 상태에 도달하며, 대부분의 큰 모델이 5% FPR에서 99.9% 이상의 참 양성률을 기록한다.
• 3층, 각각 256개 유닛, 약 150만 파라미터를 가진 모델은 현대 스마트폰에 성공적으로 구현되었으며, 저지연과 추가 메모리 또는 유지보수 오버헤드 없이 작동한다.
• 동일한 아키텍처와 파라미터가 KWS와 VAD 모두에 사용되어 별도의 모델이나 재학습이 필요 없어졌다.