[논문 리뷰] Sparsely Overlapped Speech Training in the Time Domain: Joint Learning of Target Speech Separation and Personal VAD Benefits

Qingjian Lin, Lin Yang외 4명|arXiv (Cornell University)|2021. 06. 28.

Speech and Audio Processing참고 문헌 26인용 수 7

한 줄 요약

이 논문은 희박하게 겹쳐진 음성에서의 표적 음성 분리와 개인화된 음성 활성 검출(VAD)을 위한 공동 학습 프레임워크를 제안하며, 희박하게 겹쳐진 음성에서의 처리를 위해 가중치가 부여된 SI-SNR 손실을 사용하여 청소된 희박하게 겹쳐진 음성에서 SDR가 4.17 dB 향상되었고, 더 깊은 네트워크 레이어를 통해 표적 음성만 라우팅함으로써 성능 저하를 최소화하면서 추론 속도가 23% 향상됨.

ABSTRACT

Target speech separation is the process of filtering a certain speaker's voice out of speech mixtures according to the additional speaker identity information provided. Recent works have made considerable improvement by processing signals in the time domain directly. The majority of them take fully overlapped speech mixtures for training. However, since most real-life conversations occur randomly and are sparsely overlapped, we argue that training with different overlap ratio data benefits. To do so, an unavoidable problem is that the popularly used SI-SNR loss has no definition for silent sources. This paper proposes the weighted SI-SNR loss, together with the joint learning of target speech separation and personal VAD. The weighted SI-SNR loss imposes a weight factor that is proportional to the target speaker's duration and returns zero when the target speaker is absent. Meanwhile, the personal VAD generates masks and sets non-target speech to silence. Experiments show that our proposed method outperforms the baseline by 1.73 dB in terms of SDR on fully overlapped speech, as well as by 4.17 dB and 0.9 dB on sparsely overlapped speech of clean and noisy conditions. Besides, with slight degradation in performance, our model could reduce the time costs in inference.

연구 동기 및 목표

• 학습 중 표적 화자 없음 또는 침묵 상태에서 표준 SI-SNR 손실이 정의되지 않는 기울기 문제를 해결하기 위해.
• 훈련 시 다양한 겹침 비율을 포함시켜 실제 세계의 희박하게 겹쳐진 음성에서 표적 음성 분리 성능을 향상시키기 위해.
• 비표적 음성을 네트워크의 초기 단계에서 제거하는 개인화된 VAD 모듈을 통합하여 추론 시간을 단축시키기 위해.
• 표적 음성 분리와 개인화된 VAD를 공유된 네트워크 구성 요소를 통해 공동으로 학습하여 효율성과 성능을 향상시키기 위해.
• 정확도와 계산 비용을 균형 잡는 방식으로 표적 음성 분리 시스템의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 표적 음성의 지속 시간에 비례해 가중치를 높이고, 표적이 없을 경우 0을 반환하는 가중치가 부여된 SI-SNR 손실을 도입함.
• 공유된 인코더와 공유된 TCN 스택을 사용하여 표적 음성 분리와 개인화된 VAD를 공동으로 학습하는 방법을 제안함.
• 개인화된 VAD 브랜치를 통해 이진 마스크를 생성하여 비표적 음성을 차단함으로써 분리 네트워크 예측에 대한 의존도를 감소시킴.
• 비표적 세그먼트를 조기에 제거할 수 있도록 개인화된 VAD 브랜치를 초기 TCN 블록 후에 배치함으로써 추론 시간을 절감함.
• 두 작업이 동일한 백본을 공유하고 분리 및 VAD 전용 헤드를 별도로 사용하는 다중 작업 학습 설정을 적용함.
• 실시간 인자(RTF) 지표를 사용하여 추론 속도를 평가하고, VAD 브랜치의 위치에 대한 분석(ablation)을 실시함.

실험 결과

연구 질문

• RQ1 표적 화자가 없는 훈련 샘플에서 가중치가 부여된 SI-SNR 손실이 정의되지 않는 기울기를 방지하는 데 효과적인가?
• RQ2 표적 음성 분리와 개인화된 VAD를 공동으로 학습할 경우 별도 학습 대비 희박하게 겹쳐진 음성에서 성능 향상이 이루어지는가?
• RQ3 개인화된 VAD를 통한 조기 프루닝이 성능 저하 없이 추론 시간을 줄일 수 있는가?
• RQ4 청소된 음성과 노이즈가 있는 희박하게 겹쳐진 음성에서 모델의 성능은 어떻게 되며, 겹침 비율이 성능에 미치는 영향은 무엇인가?
• RQ5 속도와 정확도를 균형 잡는 데 최적인 개인화된 VAD 브랜치의 네트워크 내 배치 위치는 어디인가?

주요 결과

• 제안된 방법은 청소된 희박하게 겹쳐진 음성에서 기준 모델 대비 SDR가 4.17 dB 향상됨.
• 노이즈가 있는 희박하게 겹쳐진 음성에서 SDR는 0.9 dB 향상되어 노이즈에 대한 강건성을 입증함. 다만 청소된 조건에 비해 성능 향상 폭은 작음.
• 완전히 겹쳐진 음성에서 SDRi는 1.73 dB, SI-SNRi는 2.23 dB 향상되어 최신 기술인 X-TasNet을 초월함.
• 개인화된 VAD 브랜치를 두 번째 TCN 블록 후에 위치시킴으로써 실시간 인자(RTF)가 기준 모델 대비 23% 향상되었고, SDR는 1.47 dB만 감소하여 성능 저하가 미미함.
• 비겹침 세그먼트에서는 최대 20 dB의 SDR 향상이 이루어져 침묵 또는 단일 화자 영역에서 뛰어난 성능을 보임.
• 공동 학습 전략을 통해 조기 추론 프루닝이 가능해지고, 실제 데이터의 평균 겹침 비율이 낮기 때문에 이론적으로 최대 50% 더 빠르게 실행 가능함.