[논문 리뷰] CNN self-attention voice activity detector

Amit Sofer, Shlomo E. Chazan|arXiv (Cornell University)|2022. 03. 06.

Speech and Audio Processing인용 수 4

한 줄 요약

이 논문은 공간적 특징 추출을 위한 합성곱 신경망(CNN)과 장거리 맥락 모델링을 위한 자기주의(self-attention, SA) 인코더를 결합한 새로운 CNN 자기주의 음성 활성도 검출(VAD) 모델을 제안한다. 전체 입력 신호를 한 번에 처리함으로써, 경량이고 효율적인 아키텍처를 통해 실생활 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하며, 단독으로 사용되는 CNN 및 SA 모델보다 뛰어난 성능을 발휘한다.

ABSTRACT

In this work we present a novel single-channel Voice Activity Detector (VAD) approach. We utilize a Convolutional Neural Network (CNN) which exploits the spatial information of the noisy input spectrum to extract frame-wise embedding sequence, followed by a Self Attention (SA) Encoder with a goal of finding contextual information from the embedding sequence. Different from previous works which were employed on each frame (with context frames) separately, our method is capable of processing the entire signal at once, and thus enabling long receptive field. We show that the fusion of CNN and SA architectures outperforms methods based solely on CNN and SA. Extensive experimental-study shows that our model outperforms previous models on real-life benchmarks, and provides State Of The Art (SOTA) results with relatively small and lightweight model.

연구 동기 및 목표

• 잡음이 많고 반향이 있는 환경에서 전통적인 신호 처리 및 딥러닝 기반 VAD 방법의 한계를 해결하기 위해.
• 이전의 CNN 및 RNN 기반 VAD 모델에서 발생하는 수신 필드 제한 및 순차적 처리 제약을 극복하기 위해.
• CNN에서 유도한 공간적 특징과 자기주의를 통한 장거리 시간적 의존성의 공동 활용을 통해 성능 향상을 도모하기 위해.
• 전체 길이의 신호를 한 번의 순방향 전파로 처리할 수 있는 계산적으로 효율적인 엔드 투 엔드 VAD 시스템을 개발하기 위해.
• 실생활에서 다양한 음성 벤치마크에서 최신 기술 수준(SOTA) 성능을 입증하기 위해, 경량 아키텍처를 사용한다.

제안 방법

• 모델은 노이즈가 섞인 단일 채널 입력의 멜스펙트로그램에서 프레임 단위 임베딩을 추출하기 위해 CNN 인코더를 사용하며, 입력 길이와 공간적 구조를 유지한다.
• 생성된 임베딩 시퀀스는 전체 프레임 간의 주의를 계산하여 장거리 맥락적 의존성을 모델링하는 자기주의(SA) 인코더에 입력된다.
• SA 인코더는 전체 시퀀스를 대상으로 질의-키-값 주의를 계산하여 각 프레임이 전체 신호의 관련 프레임에 주의를 기울일 수 있도록 한다.
• 최종적으로 완전 연결(FC) 레이어가 각 프레임의 음성 존재 확률을 추정하는 최종 VAD 출력을 생성한다.
• 라벨이 부여된 음성/노이즈 프레임에 대해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 학습된다.
• 아키텍처는 전체 입력 신호를 한 번에 처리하도록 설계되어, 분할 없이도 넓은 효과적 수신 필드를 확보할 수 있다.

실험 결과

연구 질문

• RQ1 하이브리드 CNN-자기주의 아키텍처가 음성 활성도 검출에서 단독 CNN 또는 자기주의 모델보다 뛰어난 성능을 낼 수 있는가?
• RQ2 짧은 세그먼트로 나누지 않고 전체 입력 신호를 한 번에 처리하는 것이, 잡음이 많고 반향이 있는 조건에서 VAD 성능 향상에 기여하는가?
• RQ3 자기주의 메커니즘이 국소적 또는 순차적 모델링에 비해 VAD에서 장거리 맥락 모델링을 얼마나 향상시키는가?
• RQ4 실생활에서 다양하게 구성된 오디오 벤치마크에서 제안된 모델은 최신 기술 수준(SOTA) VAD 시스템과 비교해 어떻게 성능을 내는가?
• RQ5 복잡한 후처리나 다단계 설계에 의존하지 않고도, 경량 단일 스트림 아키텍처가 최신 기술 수준(SOTA) 성능을 달성할 수 있는가?

주요 결과

• 제안된 CNN-자기주의 모델은 리버서스피치(LibriSpeech), 티미트(TIMIT), NIST 데이터셋을 포함한 실생활 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.
• 리버서스피치 테스트 세트에서, 전체 입력 시퀀스를 처리할 경우 모델은 EER 5.05%와 AUC 99.02%를 기록하여, FCNN(11.68%/95.7%) 및 SA 전용 모델(10.41%/96.62%)을 모두 앞서며 성능을 뛰어넘는다.
• 파크 테스트 세트에서, 모델은 AUC 99.04%를 기록하여 다음으로 우수한 모델(98.80%)보다 0.24%포인트 높은 성능을 내며 앞서며 확실한 우위를 보였다.
• 제거 실험 결과, CNN과 SA 구성 요소의 융합이 개별 구성 요소만 사용할 경우보다 뛰어난 성능을 내며, 리버서스피치에서 FCNN 기준 대비 EER을 50% 이상 감소시킴을 확인하였다.
• 주의 시각화 결과, 모델이 비록 거리가 먼 프레임이라도 올바르게 음성 프레임에 주의를 기울이며, 비정적 노이즈나 일시적 사건에는 주의를 최소화하는 것으로 나타났다.
• 모델는 높은 효율성을 유지하며, 단지 560K개의 파라미터로도 SOTA 성능을 달성하고, 전체 신호를 한 번의 순방향 전파로 처리함으로써 분할 없이 장거리 맥락을 처리할 수 있다.