[논문 리뷰] X-TaSNet: Robust and Accurate Time-Domain Speaker Extraction Network

Zining Zhang, Bingsheng He외 1명|arXiv (Cornell University)|2020. 10. 24.

Speech and Audio Processing참고 문헌 20인용 수 8

한 줄 요약

X-TaSNet는 사전에 훈련된 화자 확인 모델을 복소수 TaSNet 아키텍처에 통합한 새로운 시간 도메인 화자 추출 네트워크로, 대상 화자 존재 여부에 관계없이 안정적이고 정확한 대상 화자 음성 추출이 가능하다. 왜곡 기반 손실 함수와 번갈아가며 훈련하는 방식을 도입함으로써 기존 방법 대비 SDRi와 SI-SNRi를 두 배로 향상시키며, 최신 기술 수준의 성능을 달성한다. 화자 신원 정확도는 95.4%를 기록한다.

ABSTRACT

Extracting the speech of a target speaker from mixed audios, based on a reference speech from the target speaker, is a challenging yet powerful technology in speech processing. Recent studies of speaker-independent speech separation, such as TasNet, have shown promising results by applying deep neural networks over the time-domain waveform. Such separation neural network does not directly generate reliable and accurate output when target speakers are specified, because of the necessary prior on the number of speakers and the lack of robustness when dealing with audios with absent speakers. In this paper, we break these limitations by introducing a new speaker-aware speech masking method, called X-TaSNet. Our proposal adopts new strategies, including a distortion-based loss and corresponding alternating training scheme, to better address the robustness issue. X-TaSNet significantly enhances the extracted speech quality, doubling SDRi and SI-SNRi of the output speech audio over state-of-the-art voice filtering approach. X-TaSNet also improves the reliability of the results by improving the accuracy of speaker identity in the output audio to 95.4%, such that it returns silent audios in most cases when the target speaker is absent. These results demonstrate X-TaSNet moves one solid step towards more practical applications of speaker extraction technology.

연구 동기 및 목표

• 기존의 TaSNet 같은 시간 도메인 음성 분리 모델이 대상 화자 부재 시에 화자 특화 타겟팅 능력과 내성을 갖추지 못하는 한계를 해결하기 위해.
• 시간 도메인에서 화자 확인과 음성 분리를 통합하는 통합 프레임워크를 개발하여, 화자 수에 대한 사전 지식이 필요 없도록 하기 위해.
• 혼합 음성에서 대상 화자가 존재하지 않을 수 있는 실제 환경에서의 신뢰성과 음성 품질을 향상시키기 위해.
• 화자 부재 탐지 상황에서 실질적인 성능을 보다 정확히 반영할 수 있도록 SISI-SNRi 및 NSR과 같은 새로운 평가 지표를 도입하기 위해.

제안 방법

• X-TaSNet는 입력 혼합 신호에 참조 화자 음성 인식 특징을 통합하기 위해 사전에 훈련된 화자 확인 모델(Speaker Encoder)을 복소수 TaSNet에 통합한다.
• 모델은 원시 웨이브포드를 임베딩 벡터로 변환하기 위한 학습 가능한 인코더를 사용하며, 이는 參조 음성에서 유도된 화자 임베딩과 연결된다.
• 노이즈 또는 화자 부재 조건에서도 강건성을 높이기 위해 왜곡 기반 손실 함수를 도입하여 마스크 예측을 최적화한다.
• 화자 신원과 출력 품질 간의 정렬을 향상시키기 위해 분리 및 화자 확인 구성 요소를 동시에 최적화하는 번갈아가며 훈련하는 방식을 사용한다.
• 대상 화자가 탐지되지 않을 경우 침묵된 오디오를 출력하는 화자 존재 감지 메커니즘을 통합하여, 부재 시나리오에서의 신뢰성을 향상시킨다.
• 화자 부재 시의 성능을 공정하게 평가하기 위해 SISI-SNRi(침묵 비례 스케일 인variant SNR 향상도) 및 NSR(음성 에너지 비율)와 같은 새로운 지표를 제안한다.

Figure 1: The overall workflow of X-TaSNet.

실험 결과

연구 질문

• RQ1 대상 화자가 부재할 경우에도 높은 품질의 출력을 유지하면서 시간 도메인 음성 분리 모델의 안정성을 향상시킬 수 있는가?
• RQ2 화자 확인 지식을 시간 도메인 분리 네트워크에 효과적으로 통합하여, 화자 수에 대한 사전 지식 없이도 정확한 화자 특화 추출을 가능하게 할 수 있는가?
• RQ3 음성 품질과 화자 신원 정확도 향상에 가장 효과적인 손실 함수와 훈련 전략은 무엇인가?
• RQ4 혼합 신호에 대상 화자가 존재하지 않을 경우 성능 평가 지표를 어떻게 재정의하여 실질적인 성능을 공정하게 평가할 수 있는가?
• RQ5 제안된 방법이 기존의 화자 추출 모델 대비 음성 품질과 신뢰성 측면에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• X-TaSNet는 95.4%의 화자 신원 정확도를 달성하여, 대상 화자가 부재할 경우 침묵된 출력을 반환함으로써 신뢰성을 크게 향상시켰다.
• 기존 최고 수준의 VoiceFilter 대비 SDRi와 SI-SNRi 성능을 두 배로 향상시켰으며, LibriCSS 데이터셋에서 15.57 SISI-SNRi와 4.3%의 NSR을 기록했다.
• 화자 존재 감지 기능을 포함한 X-TaSNet-SPIT은 72.4%의 NER(Negative Energy Rate)를 기록하여 효과적인 부재 탐지 능력을 입증했다.
• SISI-SNRi 지표는 정확한 화자를 타겟으로 할 경우 음성 품질을 효과적으로 측정하며, 침묵된 출력에서의 음성 품질 저하를 반영하는 음성 품질 지표의 편향을 피한다.
• X-TaSNet는 음성 품질(7.31 대 15.57 SISI-SNRi)과 내성 측면에서 모두 VoiceFilter를 능가하며, 특히 화자 부재 탐지 시나리오에서 뛰어난 성능을 보였다.
• 왜곡 기반 손실 함수를 사용하는 번갈아가며 훈련 방식은 특히 노이즈가 많거나 미리 보지 않은 조건에서 모델의 강건성과 일반화 능력을 크게 향상시켰다.

Figure 2: The distribution of extracted absent speakers’ voice energy in dB. Voicefilter and X-TaSNet have scale difference since our measure is not scale-invariant. X-TaSNet returns silent audio over most of the arbitrary audios.