[논문 리뷰] Single-Channel Speech Separation with Auxiliary Speaker Embeddings

Shuo Liu, Gil Keren외 1명|arXiv (Cornell University)|2019. 06. 24.

Speech and Audio Processing참고 문헌 23인용 수 4

한 줄 요약

이 논문은 각 화자에 대한 청소된 문맥 녹음에서 유도된 보조 화자 임베딩을 사용하여 성능을 햖थ한 단일 채널 음성 분리 모델을 제안한다. 이러한 임베딩으로 분리 네트워크를 조건화함으로써, 모델은 보다 정확하게 시간-주파수 빈을 적절한 화자에게 할당하게 되어 도전적인 VoxCeleb 데이터셋에서 4.79 dB SDR, 8.44 dB SAR, 7.11 dB SIR의 성능을 달성하며, 딥 클러스터링과 DaNet과 같은 최신 기준 모델을 뛰어넘는다.

ABSTRACT

We present a novel source separation model to decompose asingle-channel speech signal into two speech segments belonging to two different speakers. The proposed model is a neural network based on residual blocks, and uses learnt speaker embeddings created from additional clean context recordings of the two speakers as input to assist in attributing the different time-frequency bins to the two speakers. In experiments, we show that the proposed model yields good performance in the source separation task, and outperforms the state-of-the-art baselines. Specifically, separating speech from the challenging VoxCeleb dataset, the proposed model yields 4.79dB signal-to-distortion ratio, 8.44dB signal-to-artifacts ratio and 7.11dB signal-to-interference ratio.

연구 동기 및 목표

• 화자가 유사한 음성 특징을 가진 경우 단일 채널 음성 분리 문제를 해결하기 위해.
• 청소된 문맥 녹음에서 유도된 화자 임베딩을 조건으로 삼아 소스 분리 성능을 향상시키기 위해.
• 화자별로 명시적인 참조 임베딩을 제공함으로써 임베딩 공간 클러스터링의 모호성을 줄이기 위해.
• 각 화자로부터 청소된 음성 세그먼트가 이용 가능한 실세계 환경에서 분리 품질을 향상시키기 위해.
• 대규모 자연 음성 데이터셋에서 기존의 딥 클러스터링 및 딥 어트랙터 네트워크 기준 모델을 뛰어넘기 위해.

제안 방법

• 분리 네트워크와 화자 임베딩 하위네트워크 모두에 잔차 블록의 스택을 사용한다.
• 각 화자의 청소된 문맥 녹음을 처리하는 별도의 화자 임베딩 하위네트워크가 화자별 임베딩을 생성한다.
• 주 분리 네트워크는 혼합 음성 세그먼트를 처리하며, 화자 임베딩을 조건으로 삼아 빈 할당을 안내한다.
• 네트워크는 추정 간섭 프레임을 출력하고, 중심 프레임과의 차이를 통해 추정된 타겟 프레임을 도출한다.
• 모델은 타겟 신호의 복원 손실을 최소화하도록 훈련되며, 임베딩을 조건 입력으로 사용하여 분리 정확도를 향상시킨다.
• 추론 시, 동일한 화자 임베딩을 사용하여 분리를 조건화함으로써, 새로운 화자에 대해서도 강건한 성능을 발휘한다.

실험 결과

연구 질문

• RQ1 청소된 문맥 녹음에서 유도된 보조 화자 임베딩이 단일 채널 음성 분리 성능을 향상시키는가?
• RQ2 화자 임베딩으로 분리 네트워크를 조건화하면 시간-주파수 빈 할당의 모호성이 어떻게 감소하는가?
• RQ3 제안된 방법이 자연적이며 다양한 음성 데이터에서 딥 클러스터링 및 딥 어트랙터 네트워크를 뛰어넘는가?
• RQ4 화자가 유사한 음성 특징을 가진 경우 화자 임베딩이 분리 품질을 얼마나 향상시키는가?
• RQ5 짧은 청소된 문맥 녹음만으로도 모델이 새로운 화자에 일반화할 수 있는가?

주요 결과

• 제안된 모델은 4.79 dB 신호 대 간섭비(SDR)를 달성하여, 딥 클러스터링 기준 모델(0.84 dB)과 DaNet(1.81 dB)을 크게 앞서간다.
• 8.44 dB의 신호 대 잡음비(SAR)를 확보하여, 기준 모델 대비 열악한 알고리즘 왜곡과 함께 향상된 음성 품질을 보여준다.
• 7.11 dB의 신호 대 간섭비(SIR)를 확보하여 간섭을 효과적으로 억제하지만, DaNet이 더 높은 SIR(10.41 dB)를 기록하여 목표 신호 보존 측면에서 상충 관계가 있음을 시사한다.
• 성능 향상의 원인은 임베딩 공간 클러스터링을 위한 명시적인 기준점을 제공하는 보조 화자 임베딩의 사용에 기인한다.
• 대규모 VoxCeleb 데이터셋에서 새로운 화자에 대한 강건한 일반화 능력을 보이며, 실세계 환경에서의 안정성을 입증한다.
• 시각적 결과는 모델이 타겟 화자와 간섭 화자를 성공적으로 분리하고, 음성 이해 가능성은 유지하면서 잡음을 감소시킨다는 것을 확인한다.