[논문 리뷰] Personal VAD: Speaker-Conditioned Voice Activity Detection

Shaojin Ding, Quan Wang외 3명|arXiv (Cornell University)|2019. 08. 12.

Speech Recognition and Synthesis참고 문헌 30인용 수 8

한 줄 요약

이 논문은 130K 파라미터의 경량 신경망을 사용하여 화자 임bedding에 조건화된 개인화된 VAD(Personal VAD)를 제안한다. 이 모델은 음성 프레임을 비음성, 대상 화자 음성, 비대상 화자 음성으로 분류하며, 표준 VAD + 화자 인식 기반 베이스라인보다 우수한 성능을 보이며, 대상 사용자만의 음성으로만 트리거되는 온디바이스, 저지연, 저전력 음성 인식을 가능하게 한다.

ABSTRACT

In this paper, we propose "personal VAD", a system to detect the voice activity of a target speaker at the frame level. This system is useful for gating the inputs to a streaming on-device speech recognition system, such that it only triggers for the target user, which helps reduce the computational cost and battery consumption, especially in scenarios where a keyword detector is unpreferable. We achieve this by training a VAD-alike neural network that is conditioned on the target speaker embedding or the speaker verification score. For each frame, personal VAD outputs the probabilities for three classes: non-speech, target speaker speech, and non-target speaker speech. Under our optimal setup, we are able to train a model with only 130K parameters that outperforms a baseline system where individually trained standard VAD and speaker recognition networks are combined to perform the same task.

연구 동기 및 목표

• 대상 화자가 말할 때만 음성 인식을 트리거하는 실시간, 온디바이스 음성 활성도 검출 시스템을 개발하여 배터리 소모와 계산 비용을 줄이기.
• 개별 VAD와 화자 인식 모델을 조합하는 기존 방법의 한계를 해결하기 위해, 고지연과 계산 오버헤드 문제를 야기하는 기존 접근법의 문제점을 해결하기.
• 비음성, 대상 화자 음성, 비대상 화자 음성 간을 구분할 수 있는 경량 프레임 단위 추론 모델을 설계하기.
• 최소한의 모델 크기로도 화자별 음성 활동을 학습함으로써, 소음이 많고 다수의 화자가 존재하는 환경에서의 강건성을 향상시키기.
• 웨이크워드 탐지가 필요 없이 원활한 키워드 없는 음성 보조 기능 상호작용을 가능하게 하기.

제안 방법

• 음성 특징과 대상 화자 임베딩을 입력으로 받아 비음성, 대상 화자 음성, 비대상 화자 음성으로 분류하는 3개 클래스의 프레임 단위 분류 모델을 제안한다.
• 64개 유닛을 가진 2층 LSTM 네트워크와 최종 완전 연결 층을 사용하며, 초기 3개 클래스 학습을 위해 교차 엔트로피 손실을 사용한다.
• 비음성과 비대상 화자 음성을 구분하는 데 더 높은 중요도를 할당하고, 비음성과 비대상 화자 음성 간의 구분에 대한 강조를 줄이는 가중 쌍별 손실 함수를 도입한다.
• 8개 언어로 재학습한 d-vector 화자 임베딩 모델을 사용하여 화자 신원을 인코딩하고, 추론 시 조건 입력으로 활용한다.
• 모델 크기(0.13M 파라미터)를 최소화하고 실시간 프레임 단위 처리를 가능하게 하여 추론 비용을 최소화한다.
• 다양한 회전 인식(MTR) 여부에 따라 증강된 LibriSpeech 데이터셋에서 평균 정확도(AP)를 사용해 성능을 평가한다.

Figure 1: The speaker verification system [ 13 ] produces an utterance-level d-vector by aggregating window-level embeddings.

실험 결과

연구 질문

• RQ1 단일 경량 신경망이 표준 VAD와 화자 인식 모델의 캐스케이드보다 대상 화자 음성 활동 탐지에서 뛰어난 성능을 낼 수 있는가?
• RQ2 특히, 가중 쌍별 손실 함수의 선택이 대상 화자 음성과 비음성, 비대상 화자 음성을 구분하는 데 모델의 능력에 어떤 영향을 미치는가?
• RQ3 개인화된 VAD 모델이 대상 화자 탐지에 최적화되어 있음에도 불구하고, 표준 VAD 작업(음성/비음성 탐지)에서의 성능를 어느 정도 유지할 수 있는가?
• RQ4 온디바이스 실시간 화자 조건화 VAD에서 모델 크기, 추론 속도, 정확도 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 화자 임베딩에 조건화된 VAD가 소음이 많고 다수의 화자가 존재하는 환경에서 거짓 경고 및 누락 탐지율을 크게 향상시키는가?

주요 결과

• 임베딩 조건화 트랜스포머(ET) 아키텍처는 MTR 없이 0.932 mAP, MTR가 있는 경우 0.878 mAP를 기록했으며, 파라미터 수는 0.13만 개로 기존 화자 인식 모델보다 40배 작다.
• 가중 쌍별 손실이 표준 교차 엔트로피 손실보다 우수했으며, 최적 성능는 w<ns,ntss> = 0.1에서 달성되었고, 비음성과 비대상 화자 음성 간 혼동을 줄이면서 전체 정확도는 유지되었다.
• Personal VAD 모델은 음성 탐지에 대해 CE 손실 기준 0.991, 가중 쌍별 손실 기준 0.991의 AP 점수를 기록했으며, 표준 VAD 모델(0.992)과 유사한 성능를 보여, 표준 VAD 작업에서의 성능 저하가 최소한임을 입증했다.
• ET 모델은 MTR가 있는 경우 비음성(ns)에 대해 0.893 mAP, 비대상 화자 음성(ntss)에 대해 0.901 mAP를 기록하여 세 클래스 모두에 걸쳐 강력한 일반화 능력을 보였다.
• 제안된 개인화된 VAD 시스템은 정확도와 효율성 측면에서 표준 VAD와 화자 인식 모델의 캐스케이드 기반 베이스라인을 모두 능가했으며, 특히 자원이 제한된 온디바이스 환경에서 두각을 나타냈다.
• 결과는 개인화된 VAD가 후속 ASR 시스템에서 표준 VAD를 대체할 수 있음을 확인했으며, 모델 크기나 계산 비용을 증가시키지 않으면서도 대상 화자 전용 활성화를 가능하게 한다.

Figure 2: Four different architectures to implement personal VAD: (a) SC : Run standard VAD and frame-level speaker verification independently, and combine their results. This is used as a baseline for other aproaches. (b) ST : Concatenate frame-level speaker verification score with acoustic feature