[논문 리뷰] Improved Source Counting and Separation for Monaural Mixture

Yiming Xiao, Haijian Zhang|arXiv (Cornell University)|2020. 04. 01.

Speech and Audio Processing참고 문헌 34인용 수 6

한 줄 요약

이 논문은 시간-주파수 특징 융합 네트워크와 주의 메커니즘, 딥 어트랙터 네트워크를 활용하여 미리 알지 못하는 화자 수를 동시에 추정하고 개별 소스를 분리하는 단일 모델 기반의 새로운 단일 모델 접근법을 제안한다. 이 방법은 화자 수에 대한 사전 지식이 없이도 이중 및 삼중 화자 혼합에서 96.7%의 화자 수 추정 정확도와 최신 기술 수준(SOTA)의 SI-SNRi 및 SDRi 성능을 달성한다.

ABSTRACT

Single-channel speech separation in time domain and frequency domain has been widely studied for voice-driven applications over the past few years. Most of previous works assume known number of speakers in advance, however, which is not easily accessible through monaural mixture in practice. In this paper, we propose a novel model of single-channel multi-speaker separation by jointly learning the time-frequency feature and the unknown number of speakers. Specifically, our model integrates the time-domain convolution encoded feature map and the frequency-domain spectrogram by attention mechanism, and the integrated features are projected into high-dimensional embedding vectors which are then clustered with deep attractor network to modify the encoded feature. Meanwhile, the number of speakers is counted by computing the Gerschgorin disks of the embedding vectors which are orthogonal for different speakers. Finally, the modified encoded feature is inverted to the sound waveform using a linear decoder. Experimental evaluation on the GRID dataset shows that the proposed method with a single model can accurately estimate the number of speakers with 96.7 % probability of success, while achieving the state-of-the-art separation results on multi-speaker mixtures in terms of scale-invariant signal-to-noise ratio improvement (SI-SNRi) and signal-to-distortion ratio improvement (SDRi).

연구 동기 및 목표

• 실제 응용에서 흔히 발생하는 화자 수가 알려지지 않은 경우에 대한 단일 화자 분리 과제를 해결하기 위해.
• 재학습이나 아키텍처 변경 없이도 다양한 화자 수를 처리할 수 있는 단일 딥 러닝 모델을 개발하기 위해.
• 주의 메커니즘을 활용한 시간 도메인 및 주파수 도메인 특징 융합을 통해 분리 성능을 향상시키기 위해.
• 고차원 임bedding에 대한 Gerschgorin 디스크 분석을 통해 임계치가 필요 없는 정확한 화자 수 추정을 가능하게 하기 위해.
• 다양한 수의 소스에 대해 일반화 가능한 강력한 마스크 추정을 제공하는 딥 어트랙터 네트워크(ADANet)를 통합하기 위해.

제안 방법

• 모델은 1차원 시간 도메인 웨이브폼과 2차원 스펙트로그램을 주의 기반 인코더를 통해 융합하여 하이브리드 시간-주파수 특징 맵을 생성한다.
• 융합된 특징은 학습 가능한 투영 레이어를 통해 고차원 임베딩 벡터로 변환되며, 이는 TasNet와 유사하다.
• 임베딩 벡터의 공분산 행렬에 대한 Gerschgorin 디스크를 계산하여 화자 간 수직성의 특성을 활용해 화자 수를 추정한다.
• 딥 어트랙터 네트워크(ADANet)는 임베딩과 어트랙터 간의 유사도를 측정하여 소스 전용 마스크를 생성한다.
• 마스크된 특징는 학습 가능한 선형 디코더를 사용해 웨이브폼으로 복원되며, 엔드 투 엔드 학습이 가능하다.
• 전체 시스템은 분리 품질과 화자 수 추정 정확도를 최적화하는 손실 함수를 사용해 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 사전 지식 없이도 단일 딥 러닝 모델이 단일 화자 혼합에서 화자 수를 정확하게 추정할 수 있는가?
• RQ2 주의 기반 시간-주파수 특징 융합은 단일 도메인 방법에 비해 분리 성능을 어떻게 향상시키는가?
• RQ3 임베딩 공분산 행렬에 대한 Gerschgorin 디스크 분석이 신뢰할 수 있고 임계치가 필요 없는 소스 수 추정 방법이 될 수 있는가?
• RQ4 ADANet의 통합이 통합 모델에서 다양한 화자 수에 대해 일반화하는 데 얼마나 기여하는가?
• RQ5 예를 들어 이중 및 삼중 화자 혼합에서 학습함으로써 더 높은 화자 수에서의 성능 향상이 이루어지는가?

주요 결과

• 제안된 방법은 화자 수 추정에 대해 96.7%의 성공 확률을 달성하여 랭크 추정 기반 베이스라인(80.1% 정확도)을 크게 뛰어넘었다.
• 모델은 최신 기술 수준(SOTA)의 SI-SNRi 및 SDRi 성능 향상을 달성했으며, 이는 이전의 주파수 도메인 방법 대비 이중 화자 혼합에서 4 dB 이상, 삼중 화자 혼합에서 6.5 dB 이상의 향상을 보였다.
• 이중 및 삼중 화자 통합 모델은 삼중 화자 혼합에서 전용 삼중 화자 모델보다 성능이 뛰어나, 더 적은 수의 화자에서 학습함으로써 더 많은 화자 수로의 일반화가 향상됨을 시사한다.
• 인코더에 통합된 주의 메커니즘이 특징 표현을 향상시켜 비주의 기반 베이스라인 대비 분리 성능 향상에 기여한다.
• Gerschgorin 디스크 기반의 수 추정 방법은 이전 연구에서 사용된 랭크 기반 방법과 달리 초모수 조정(예: 임계치 선택)이 필요 없음을 보였다.
• 모델는 화자 수에 걸쳐 효과적으로 일반화되며, 일관된 성능을 유지하는 단일 아키텍처가 다양한 수의 소스를 처리할 수 있음을 입증했다.