[논문 리뷰] Deep Extractor Network for Target Speaker Recovery From Single Channel Speech Mixtures

Jun Wang, Jie Chen외 5명|arXiv (Cornell University)|2018. 07. 24.

Speech and Audio Processing참고 문헌 15인용 수 13

한 줄 요약

이 논문은 매우 짧은 앵커 발화(1초 미만)를 사용하여 단일 채널 혼합 음성에서 고품질의 대상 발화자 음성을 복원하는 딥 익스트랙터 네트워크(DENet)를 제안한다. 상대적 발화자 정보를 인코딩하는 안정적인 캐논리컬 임베딩 공간을 학습함으로써, DENet은 기준 모델 대비 SDR와 PESQ에서 각각 5.2%와 6.6% 향상되었으며, 한 명 이상의 간섭 발화자 존재하는 혼합 음성에 대해서도 효과적으로 일반화된다.

ABSTRACT

Speaker-aware source separation methods are promising workarounds for major difficulties such as arbitrary source permutation and unknown number of sources. However, it remains challenging to achieve satisfying performance provided a very short available target speaker utterance (anchor). Here we present a novel "deep extractor network" which creates an extractor point for the target speaker in a canonical high dimensional embedding space, and pulls together the time-frequency bins corresponding to the target speaker. The proposed model is different from prior works in that the canonical embedding space encodes knowledges of both the anchor and the mixture during an end-to-end training phase: First, embeddings for the anchor and mixture speech are separately constructed in a primary embedding space, and then combined as an input to feed-forward layers to transform to a canonical embedding space which we discover more stable than the primary one. Experimental results show that given a very short utterance, the proposed model can efficiently recover high quality target speech from a mixture, which outperforms various baseline models, with 5.2% and 6.6% relative improvements in SDR and PESQ respectively compared with a baseline oracle deep attracor model. Meanwhile, we show it can be generalized well to more than one interfering speaker.

연구 동기 및 목표

• 매우 짧은 적응 발화를 사용하여 단일 채널 음성 혼합물에서 대상 발화자 추출 문제를 해결한다.
• 기존의 발화자 인식 모델이 요구하는 긴 적응 세그먼트(예: 약 10초)의 제한을 극복한다.
• 상대적 발화자 정보를 인코딩하는 캐논리컬 임베딩 공간을 도입하여 발화자 임베딩 공간의 안정성과 성능을 향상시킨다.
• 재학습 없이도 한 명 이상의 간섭 발화자 존재하는 혼합물에 효과적으로 일반화할 수 있도록 한다.
• 향후 피드백 메커니즘을 통한 발화자 독립적 앵커 학습을 지원할 수 있는 통합 프레임워크를 개발한다.

제안 방법

• 공유 인코더 네트워크를 사용하여 앵커 발화와 혼합 음성 둘 다 주된 임베딩을 생성한다.
• 앵커 및 혼합 음성의 임베딩을 피드포워드 네트워크를 통해 조합하여 고차원의 캐논리컬 임베딩 공간을 형성한다.
• 시간-주파수 영역의 대상 발화자에 대한 영역을 끌어당기는 안정적인 상대 정보 기반의 추출기 점을 캐논리컬 공간에서 학습한다.
• 예측된 음성과 진짜 음성 간의 재구성 오차를 최소화하기 위해 미분 가능한 손실 함수를 사용하여 엔드 투 엔드 학습을 가능하게 한다.
• 인간 청각 인지에 영감을 받은 어텐션 기반 제어 원리를 적용하여 추출기 형성 과정을 안내한다.
• 감독된 혼합 음성 레이블과 앵커 발화를 사용하여 모델을 엔드 투 엔드로 학습함으로써, 예측 불가능한 발화자 수에 대한 강력한 일반화 성능을 확보한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 1초 미만의 앵커 발화만으로도 단일 채널 혼합 음성에서 고품질의 대상 발화자 음성을 추출할 수 있는가?
• RQ2 캐논리컬 임베딩 공간에서 상대적 발화자 정보를 학습하면 절대 임베딩보다 더 안정적이고 일반화 가능한 발화자 표현을 얻을 수 있는가?
• RQ3 SDR와 PESQ 측면에서 기존의 발화자 인식 기준 모델(DANet 및 오라클 모델)과 비교해 본다면, 제안된 DENet 모델의 성능은 어떠한가?
• RQ4 두 발화자 혼합 음성에서만 학습되었음에도 불구하고, 한 명 이상의 간섭 발화자 존재하는 혼합 음성에 대해 모델이 효과적으로 일반화할 수 있는가?
• RQ5 주의 기반 피드백 메커니즘을 통해 DENet 프레임워크를 발화자 독립적 앵커 학습을 지원하도록 확장하는 것이 가능한가?

주요 결과

• DENet은 기준 오라클 딥 어트랙터 모델 대비 SDR에서 5.2% 상대적 향상과 PESQ에서 6.6% 상대적 향상을 달성한다.
• 모델은 1초 미만의 앵커 발화를 사용함에도 불구하고 고품질의 대상 음성을 효과적으로 복원하며, 적응 길이 요구량을 크게 줄였다.
• 캐논리컬 임베딩 공간은 주된 임베딩 공간보다 더 높은 안정성을 보이며, 이는 밀집된 군집과 잘 분리된 발화자 추출기로 입증된다.
• 세 발화자 혼합 시나리오에서 DENet은 모든 기준 모델을 능가하여 중간 간섭 조건에서 SDR 13.44 dB, PESQ 2.52를 기록한다.
• 악성 간섭 조건에서도 DENet은 중간 조건 대비 SDR에서 20% 상대적 감소를 보이며 강력한 일반화 성능을 유지하며, 모든 기준 모델을 능가한다.
• 시각화 결과는 대상 발화자 임베딩이 캐논리컬 추출기 주변에 밀집되어 있음을 확인하였고, 간섭자 임베딩은 여전히 거리가 떨어져 있음을 보여, 모델의 주의 메커니즘이 타당함을 검증한다.