[논문 리뷰] Speech enhancement aided end-to-end multi-task learning for voice activity detection

Xu Tan, Xiao-Lei Zhang|arXiv (Cornell University)|2020. 10. 23.

Speech and Audio Processing참고 문헌 26인용 수 4

한 줄 요약

이 논문은 새로운 손실 함수인 VAD-마스크드 스케일 인variant 소스-왜곡비율(mSI-SDR)를 사용하여 음성 강화(SE)와 음성 활성 검출(VAD)를 동시에 최적화하는 엔드 투 엔드 다중 작업 학습 프레임워크를 제안한다. 훈련 중에 VAD 예측을 이용해 SE 출력을 마스킹함으로써 목적 수준에서의 공동 최적화를 가능하게 하여, 특히 번잡한 배경음과 인간 간섭 상황에서 낮은 신호 대 잡음비(SNR) 환경에서 VAD의 강인성을 크게 향상시키며, 실시간 성능 유지를 유지하면서 기존 단일 작업 및 다중 작업 기준선을 모두 능가한다.

ABSTRACT

Robust voice activity detection (VAD) is a challenging task in low signal-to-noise (SNR) environments. Recent studies show that speech enhancement is helpful to VAD, but the performance improvement is limited. To address this issue, here we propose a speech enhancement aided end-to-end multi-task model for VAD. The model has two decoders, one for speech enhancement and the other for VAD. The two decoders share the same encoder and speech separation network. Unlike the direct thought that takes two separated objectives for VAD and speech enhancement respectively, here we propose a new joint optimization objective -- VAD-masked scale-invariant source-to-distortion ratio (mSI-SDR). mSI-SDR uses VAD information to mask the output of the speech enhancement decoder in the training process. It makes the VAD and speech enhancement tasks jointly optimized not only at the shared encoder and separation network, but also at the objective level. It also satisfies real-time working requirement theoretically. Experimental results show that the multi-task method significantly outperforms its single-task VAD counterpart. Moreover, mSI-SDR outperforms SI-SDR in the same multi-task setting.

연구 동기 및 목표

• 단일 작업 VAD 모델이 어려움을 겪는 낮은 신호 대 잡음비(SNR) 및 혼잡한 환경에서 음성 활성 검출(VAD)의 강인성을 향상시키기 위해.
• 기존 SE 보강 VAD 방법에서 성능 향상이 제한적인 문제를 해결하기 위해 음성 강화와 VAD 간의 깊은 공동 최적화를 가능하게 하기 위해.
• VAD 감독을 음성 강화 손실 함수에 통합하는 새로운 공동 최적화 목표를 설계하여 상호 학습을 향상시키기 위해.
• Conv-TasNet의 저지연 구조를 유지함으로써 실시간 추론을 지원하기 위해.
• 제안된 다중 작업 프레임워크와 mSI-SDR가 VAD 및 SE 메트릭 모두에서 단일 작업 VAD 및 SE 기준선을 능가함을 검증하기 위해.

제안 방법

• 모델은 음성 강화와 VAD 모두에 대해 공유 인코더와 시간적 컨volution 신경망(TCN)을 사용하며, 각 작업별로 별도의 디코더를 갖는다.
• 제안된 mSI-SDR 손실 함수는 훈련 중에 진정값 및 예측된 VAD 레이블을 사용해 음성 강화 출력을 마스킹하여, 음성 활성 세그먼트에 집중한 최적화를 가능하게 한다.
• mSI-SDR는 VAD 레이블이 활성(1)인 프레임에 대해서만 계산되는 스케일 인variant 소스-왜곡비율이며, 이로 인해 SE 손실이 VAD 성능과 더 관련성이 높아진다.
• 아키텍처는 Conv-TasNet 기반으로, 인과적 확장 컨볼루션과 누적 레이어 정규화를 통해 저지연 추론과 실시간 운영을 보장한다.
• mSI-SDR를 통한 SE와 이진 교차 엔트로피 손실을 통한 VAD를 조합한 다중 작업 목표로 엔드 투 엔드로 훈련된다.
• 이 프레임워크는 공유 인코더와 분리 네트워크뿐 아니라 손실 함수 수준에서도 공동 최적화를 가능하게 하여 작업 간 정렬을 향상시킨다.

실험 결과

연구 질문

• RQ1 음성 강화와 음성 활성 검출의 공동 훈련이 낮은 SNR 환경에서 VAD의 강인성을 향상시킬 수 있는가?
• RQ2 VAD 감독을 음성 강화 손실 함수에 통합하면 독립적 또는 계단식 훈련보다 성능이 향상되는가?
• RQ3 제안된 mSI-SDR 손실 함수가 VAD 및 SE 다중 작업 설정에서 표준 SI-SDR를 능가할 수 있는가?
• RQ4 다중 작업 모델은 성능 향상과 함께 실시간 추론 능력을 유지하는가?
• RQ5 제안된 방법의 성능는 다양한 혼잡한 환경에서 단일 작업 VAD 및 SE 기준선과 비교해 어떻게 되는가?

주요 결과

• 바블 노이즈에서 -5 dB SNR 조건에서 Multi-mSS 모델은 VAD 전용 모델 대비 AUC에 73.77%의 상대적 향상과 EER에 59.83%의 상대적 감소를 달성했다.
• 가장 도전적인 환경(바블 노이즈, -5 dB)에서 Multi-mSS는 Multi-SS 기준선 대비 AUC에 30.43%의 상대적 향상과 EER에 16.87%의 상대적 감소를 기록했다.
• 인과적 버전의 Multi-mSS는 비인과적 버전 대비 최소한의 성능 저하를 보이며 실시간 적용 가능성의 타당성을 확인했다.
• Multi-mSS의 음성 강화 메트릭(PESQ, STOI, SI-SDR)은 SE 전용 모델과 유사하여 SE 성능에 심각한 저하가 없음을 시사한다.
• mSI-SDR 손실 함수는 동일한 다중 작업 설정에서 SI-SDR를 능가하며, VAD 유도 마스킹이 SE 최적화에 효과적임을 입증한다.
• 모델은 목표 음성과 노이즈의 스펙트럼 특성이 유사한 음성 형태 노이즈 환경(예: 바블, 카페, 보행자)에서 가장 큰 성능 향상을 보였다.