[논문 리뷰] Divide and Conquer: A Deep CASA Approach to Talker-independent Monaural Speaker Separation

Yuzhou Liu, DeLiang Wang|arXiv (Cornell University)|2019. 04. 25.

Speech and Audio Processing참고 문헌 40인용 수 5

한 줄 요약

이 논문은 깊이 있는 CASA 프레임워크를 제안하여 청취자 독립적인 단결정 음성 분리 문제를 해결한다. 이 방법은 두 단계로 작업을 분할한다: 순열 불변 훈련을 통한 프레임 수준의 스펙트럼 분리와 클러스터링을 통한 프레임 수준의 화자 추적. 이 방법은 컴act한 모델로 WSJ0-2mix 데이터셋에서 최신 기술 수준의 성능을 달성하며, SDR, SI-SNR, PESQ, ESTOI 측정치에서 이전 방법들을 능가하면서도 계산 복잡도를 감소시켰다.

ABSTRACT

We address talker-independent monaural speaker separation from the perspectives of deep learning and computational auditory scene analysis (CASA). Specifically, we decompose the multi-speaker separation task into the stages of simultaneous grouping and sequential grouping. Simultaneous grouping is first performed in each time frame by separating the spectra of different speakers with a permutation-invariantly trained neural network. In the second stage, the frame-level separated spectra are sequentially grouped to different speakers by a clustering network. The proposed deep CASA approach optimizes frame-level separation and speaker tracking in turn, and produces excellent results for both objectives. Experimental results on the benchmark WSJ0-2mix database show that the new approach achieves the state-of-the-art results with a modest model size.

연구 동기 및 목표

• 새로운 화자를 포함한 일반화가 가능한 청취자 독립적인 단결정 음성 분리 문제를 해결하기 위해.
• uPIT(동성 혼합에서 화자 추적 성능이 열 劣)와 DC(프레임 수준의 분리가 최적화되지 않음) 등의 기존 방법의 한계를 극복하기 위해 이들의 장점을 융합하기 위해.
• 컴퓨터 청각 시나리오 분석(CASA)에 영감을 얻은 두 단계의 딥 러닝 프레임워크를 통해 프레임 수준의 분리와 장기적 화자 추적을 향상시키기 위해.
• 시간-주파수 단위 수준에서의 클러스터링 대비, 프레임 수준에서 작동함으로써 딥 클러스터링 대비 계산 복잡도를 감소시키기 위해.

제안 방법

• 이 방법은 두 단계의 접근법을 사용한다: 첫째, 순열 불변 신경망을 통한 동시에 그룹화를 통해 각 시간 프레임에서 화자 스펙트럼을 분리한다.
• 둘째, 순차적 그룹화는 프레임 수준의 스펙트럼 추정치를 학습된 임베딩 기반으로 별개의 화자에게 할당하기 위한 클러스터링 네트워크를 사용한다.
• 스펙트럼 재구성 향상과 출력의 위상 왜곡 감소를 위해 복합 비율 마스킹을 적용한다.
• 스펙트럼 추정을 위해 주파수 매핑 레이어를 갖춘 Densе-UNet과 시간 모델링을 위한 TCN(드롭디레이션 적용)을 사용한다.
• SNR 및 가중 클러스터링 목적함수를 사용하여 두 단계를 함께 훈련함으로써 공동 최적화를 수행하여 정렬성과 일관성을 향상시킨다.
• 화자 추적은 프레임 수준 임베딩에 대한 K-means 클러스터링을 통해 달성되며, DC의 O(FT)에서 O(T)로 복잡도를 감소시킨다.

실험 결과

연구 질문

• RQ1 두 단계의 딥 러닝 프레임워크(프레임 수준의 분리와 프레임 수준의 화자 추적)가 기존 최신 기술 수준의 방법보다 청취자 독립적인 단결정 음성 분리에서 더 뛰어난 성능을 낼 수 있는가?
• RQ2 동시 그룹화와 순차적 그룹화의 공동 최적화가 프레임 수준의 분리와 화자 추적 성능 향상에 어떻게 기여하는가?
• RQ3 딥 클러스터링의 시간-주파수 단위 수준 클러스터링 대비, 프레임 수준의 클러스터링 접근법이 계산 복잡도를 어떻게 감소시킬 수 있는가?
• RQ4 제안된 방법이 SDR 및 SI-SNR 측정치에서 이상 마스크(예: IRM, PSM)보다 더 뛰어난 성능을 낼 수 있는가?
• RQ5 uPIT 및 DC와 비교해 볼 때, 이 방법은 특히 동성 혼합에서 다양한 화자 조합에 대해 얼마나 잘 일반화되는가?

주요 결과

• 딥 CASA 시스템은 WSJ0-2mix 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 최고의 보고된 uPIT 방법보다 SDR에서 0.1 dB 향상되었다.
• 이 방법은 비교된 모든 방법 중에서 가장 높은 SI-SNR 및 ESTOI 점수를 기록하여, 더 뛰어난 음성 품질과 이해 가능성(청취 가능성)을 나타낸다.
• PESQ 점수는 최고 성능 방법(FurcaNeXt)보다 略로 낮지만 여전히 경쟁 가능하여, 좋은 청각적 품질을 나타낸다.
• 모델은 훨씬 더 적은 파라미터를 사용하여( TasNet 및 FurcaNeXt보다 훨씬 작음) 높은 효율성을 보였다.
• 공동 최적화로 모든 지표가 약간 향상되었으며(0.1 dB ΔSDR, 0.02 PESQ, 0.3% ESTOI), 종단 간 훈련의 이점이 입증되었다.
• 학습된 표현이 이상화된 가정을 초월하여, 이상 마스크(IRM, PSM)보다 SDR 및 SI-SNR 측정치에서 뛰어난 성능을 달성하였다.