[논문 리뷰] Waveform-based Voice Activity Detection Exploiting Fully Convolutional networks with Multi-Branched Encoders

Cheng Yu, Kuo-Hsuan Hung외 4명|arXiv (Cornell University)|2020. 06. 19.

Speech and Audio Processing참고 문헌 36인용 수 6

한 줄 요약

이 논문은 원시 음성 웨이브포맷을 직접 처리하기 위해 다중 브랜치 인코더 아키텍처를 갖춘 완전 컨volution 네트워크를 사용하는 파형 기반 음성 활성 검출 시스템 WVAD를 제안한다. WEVAD라는 앙상블 프레임워크를 통해 다수의 특성별 인코더를 활용함으로써 AURORA2 및 TMHINT 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 다양한 노이즈 조건에서 AUC와 정확도가 크게 향상되었다.

ABSTRACT

In this study, we propose an encoder-decoder structured system with fully convolutional networks to implement voice activity detection (VAD) directly on the time-domain waveform. The proposed system processes the input waveform to identify its segments to be either speech or non-speech. This novel waveform-based VAD algorithm, with a short-hand notation "WVAD", has two main particularities. First, as compared to most conventional VAD systems that use spectral features, raw-waveforms employed in WVAD contain more comprehensive information and thus are supposed to facilitate more accurate speech/non-speech predictions. Second, based on the multi-branched architecture, WVAD can be extended by using an ensemble of encoders, referred to as WEVAD, that incorporate multiple attribute information in utterances, and thus can yield better VAD performance for specified acoustic conditions. We evaluated the presented WVAD and WEVAD for the VAD task in two datasets: First, the experiments conducted on AURORA2 reveal that WVAD outperforms many state-of-the-art VAD algorithms. Next, the TMHINT task confirms that through combining multiple attributes in utterances, WEVAD behaves even better than WVAD.

연구 동기 및 목표

• 스펙트럼 특징 대신 원시 음성 웨이브포맷에 직접 작동하는 새로운 음성 활성 검출(VAD) 시스템을 개발하는 것.
• 다양한 음성 특성들을 앙상블된 인코더를 통해 활용하여 어려운 노이즈 환경에서의 VAD의 강건성과 정확도를 향상시키는 것.
• 수작업으로 만든 스펙트럼 특징에 의존하지 않고도 고성능을 유지하는 컴act한 엔드 투 엔드 딥 러닝 프레임워크를 설계하는 것.
• 다양한 신호 대 노이즈 비율**(SNR)** 및 노이즈 유형에서 표준 벤치마크 데이터셋을 대상으로 제안된 방법의 효과성을 검증하는 것.

제안 방법

• 제안된 시스템은 원시 웨이브포맷 입력을 직접 처리하기 위해 완전 컨볼루션 네트워크**(FCNs)** 기반의 인코더-디코더 아키텍처를 사용한다.
• 다중 브랜치 인코더 구조를 적용하여, 각 브랜치가 음성 문장의 서로 다른 특성**(예: 에너지, 제로 크로스링 레이트, 스펙트럼 중심)** 을 문장 수준 특성 트리**(UAT)** 알고리즘을 통해 처리한다.
• 다양한 특성별 인코더의 출력을 융합한 후 공유 디코더를 통해 최종적으로 음성/비음성 분류를 수행한다.
• 정확도와 ROC 곡선 아래 면적**(AUC)** 을 최적화하기 위해 이진 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 앙상블 버전인 WEVAD는 다수의 인코더 브랜치 예측을 조합하여 강건성과 일반화 능력을 향상시킨다.
• 커널 크기 및 스트라이드 등의 하이퍼파라미터는 TMHINT 데이터셋의 16 kHz 샘플링 주파수에 맞게 조정되었다.

실험 결과

연구 질문

• RQ1 스펙트럼 특징 대신 원시 웨이브포맷에 직접 훈련된 완전 컨볼루션 네트워크 기반 VAD 시스템이 뛰어난 성능을 달성할 수 있는가?
• RQ2 다중 브랜치 인코더 아키텍처를 통해 다수의 음성 특성을 통합하면 노이즈가 많은 환경에서 VAD의 강건성이 향상되는가?
• RQ3 다양한 노이즈 유형과 SNR 수준에서 다수의 특성별 인코더 앙상블**(WEVAD)** 이 단일 인코더 시스템**(WVAD)** 과 비교해 AUC와 정확도 측면에서 어떻게 성능을 냈는가?
• RQ4 제안된 파형 기반 접근 방식이 AURORA2 및 TMHINT와 같은 표준 벤치마크에서 기존 최신 기술 수준의 VAD 알고리즘을 얼마나 뛰어나게 성능을 냈는가?

주요 결과

• AURORA2 데이터셋에서 WVAD는 대부분의 노이즈 유형과 SNR 수준에서 비교된 여덟 가지 방법 중 가장 높은 정확도**(ACC)** 를 기록했으며, -5 dB 및 0 dB SNR에서 기차 노이즈 조건을 제외하고는 모두 우수한 성능을 보였다.
• AURORA2 데이터셋에서 WVAD는 모든 SNR 수준에서 네 가지 다른 최신 기술 수준 알고리즘보다 유의미하게 높은 AUC 점수를 기록하여 뛰어난 분류 성능를 입증했다.
• TMHINT 데이터셋에서 WEVAD (6)은 여섯 개의 특성별 인코더를 사용하여 평균 AUC**(97.78%)** 에서 최고 수준을 기록했으며, 평균 ACC**(95.75%)** 에서는 두 번째로 높은 성능를 기록하여 WVAD 및 WEVAD (2)를 모두 압도했다.
• 디코더 블록의 출력 히스토GRAM은 깊이가 증가할수록 음성과 비음성 분포 간의 분리가 뚜렷해지는 경향을 보이며, 더 뛰어난 분류 능력을 의미한다.
• TMHINT 데이터셋에서 WEVAD (6)은 모든 SNR 수준에서 최적의 AUC 점수를 기록하여 더 다양한 음향 특성을 통합함으로써 성능 향상의 효과를 확인했다.
• 모델의 최종 출력 분포는 특히 저SNR 조건에서 진짜 양성과 진짜 음성 케이스 간의 분리가 더 명확해졌으며, 이는 강건한 결정 경계를 의미한다.