[논문 리뷰] A Unified Framework for Speech Separation

Fahimeh Bahmaninezhad, Shixiong Zhang외 4명|arXiv (Cornell University)|2019. 12. 17.

Speech and Audio Processing참고 문헌 42인용 수 4

한 줄 요약

이 논문은 단일 아키텍처 내에서 스펙트로그램 기반 및 웨이브포맷 기반 접근 방식을 통합하는 통합된 딥러닝 프레임워크를 제안한다. 이는 인코딩/디코딩을 위한 커널 함수의 차이를 제외하고는 서로 다름. 이 프레임워크는 단일 및 다중 채널 설정 모두에 대해 엔드 투 엔드 학습을 가능하게 하며, 특히 단일 및 다중 채널 설정 모두에서 스펙트로그램 기반 분리에서 최고 수준의 성능을 달성하며 안정성, 메모리 효율성, 지연 시간 제어의 유연성이 향상된다.

ABSTRACT

Speech separation refers to extracting each individual speech source in a given mixed signal. Recent advancements in speech separation and ongoing research in this area, have made these approaches as promising techniques for pre-processing of naturalistic audio streams. After incorporating deep learning techniques into speech separation, performance on these systems is improving faster. The initial solutions introduced for deep learning based speech separation analyzed the speech signals into time-frequency domain with STFT; and then encoded mixed signals were fed into a deep neural network based separator. Most recently, new methods are introduced to separate waveform of the mixed signal directly without analyzing them using STFT. Here, we introduce a unified framework to include both spectrogram and waveform separations into a single structure, while being only different in the kernel function used to encode and decode the data; where, both can achieve competitive performance. This new framework provides flexibility; in addition, depending on the characteristics of the data, or limitations of the memory and latency can set the hyper-parameters to flow in a pipeline of the framework which fits the task properly. We extend single-channel speech separation into multi-channel framework with end-to-end training of the network while optimizing the speech separation criterion (i.e., Si-SNR) directly. We emphasize on how tied kernel functions for calculating spatial features, encoder, and decoder in multi-channel framework can be effective. We simulate spatialized reverberate data for both WSJ0 and LibriSpeech corpora here, and while these two sets of data are different in the matter of size and duration, the effect of capturing shorter and longer dependencies of previous/+future samples are studied in detail. We report SDR, Si-SNR and PESQ to evaluate the performance of developed solutions.

연구 동기 및 목표

• 스펙트로그램 기반 및 웨이브포맷 기반 음성 분리를 단일 아키텍처에 통합하는 통합된 딥러닝 프레임워크를 개발하는 것.
• 단일 채널 및 다중 채널 음성 분리에 대해 엔드 투 엔드 학습을 가능하게 하되, Si-SNR 최적화를 위한 것.
• 다중 채널 설정에서 공간 특징과 연결된 커널 함수의 영향을 다중 채널 분리 성능에 미치는 영향을 조사하는 것.
• 모델의 안정성과 강건성을 다양한 데이터셋(예: 시뮬레이션된 리버버버런트 WSJ0-2mix 및 LibriSpeech-2mix)에서 평가하는 것.
• 스펙트로그램 기반 및 웨이브포맷 기반 음성 분리 파이프라인 간의 성능, 메모리 효율성, 지연 시간 트레이드오프를 비교하는 것.

제안 방법

• 프레임워크는 스펙트로그램 또는 원시 웨이브포맷 입력을 처리하기 위해 다른 커널 함수를 사용하는 공유된 인코더-디코더 구조를 사용한다.
• 다중 채널 설정에서 공간 특징 추출을 위해 연결된 커널 함수를 사용하여 일반화 및 파rameter 효율성을 향상시킨다.
• 최적화 기준으로 척도 불변 신호 대 잡음비(Si-SNR)를 사용하여 엔드 투 엔드 학습을 수행한다.
• 모델은 WSJ0-2mix 및 LibriSpeech-2mix 데이터셋 모두에 대해 시뮬레이션된 공간화 및 리버버버런트 음성 데이터를 기반으로 학습된다.
• 지연 시간은 구성 가능한 수신 영역 및 커널 크기를 통해 제어되며, 성능 저하가 최소화된 저지연 추론을 가능하게 한다.
• 훈련 중에 단계가 업데이트되지 않는 스펙트로그램 기반 파이프라인에서도 혼합 신호의 단계 정보가 재구성 단계에서 유지된다.

실험 결과

연구 질문

• RQ1 단일 아키텍처 내에서 스펙트로그램 기반 및 웨이브포맷 기반 음성 분리를 효과적으로 통합할 수 있는가?
• RQ2 공간 특징 학습이 포함된 다중 채널 음성 분리의 성능와 강건성은 단일 채널 설정과 비교해 어떻게 다른가?
• RQ3 스펙트로그램 기반 및 웨이브포맷 기반 분리 간의 메모리 효율성, 지연 시간, 성능 트레이드오프는 어떠한가?
• RQ4 다양한 네트워크 아키텍처 및 하이퍼파ram터 설정이 분리 모델의 안정성과 일반화에 미치는 영향은 무엇인가?
• RQ5 다중 채널 음성 분리에서 공간 특징 추출을 위해 연결된 커널 함수를 사용할 경우 성능 향상이 이루어지는가?

주요 결과

• 스펙트로그램 기반 분리가 단일 및 다중 채널 설정 모두에서 웨이브포맷 기반 분리보다 뛰어난 성능을 보였으며, 훈련 중 단계가 업데이트되지 않더라도 마찬가지였다.
• 제안된 다중 채널 프레임워크는 SDR, Si-SNR, PESQ를 포함한 모든 평가 지표에서 단일 채널 기준 모델을 일관되게 뛰어넘었다.
• 스펙트로그램 기반 모델은 웨이브포맷 기반 모델보다 다양한 네트워크 아키텍처 및 하이퍼파라미터 설정에서 더 높은 안정성을 보였다.
• 특히 큰 STFT 윈도우(예: L=512)를 사용할 경우 메모리 사용량이 감소한 점을 감안해도 통합 프레임워크는 경쟁력 있는 성능을 달성했다.
• PESQ 점수는 SDR 및 Si-SNR 경향과 일치하여 모든 평가된 파이프라인에서 청취자적 품질 향상이 확인되었다.
• 구성 가능한 커널 및 수신 영역 설정을 통해 성능 저하가 거의 없는 저지연 추론이 가능해졌다.