[논문 리뷰] Joint Separation and Denoising of Noisy Multi-talker Speech using Recurrent Neural Networks and Permutation Invariant Training

Morten Kolbæk, Dong Yu외 2명|VBN Forskningsportal (Aalborg Universitet)|2017. 08. 31.

Speech and Audio Processing참고 문헌 22인용 수 6

한 줄 요약

이 논문은 다화자 상황에서 소음 환경에서의 동시 음성 분離 및 노이즈 제거를 위한 프레임워크를 제안한다. 이는 문장 수준의 순열 불변 트레이닝(uPIT)으로 훈련된 양방향 LSTM RNN을 사용한다. 이 방법은 다양한 노이즈 유형과 SNR에서 SDR 및 ESTOI에 있어 뚜렷한 향상을 이룩하며, 미리 알지 못한 노이즈 유형에 대해 잘 일반화되고, 화자 수에 대한 사전 지식 없이 이중 및 삼중 화자 혼합물에 모두 대응할 수 있다.

ABSTRACT

In this paper we propose to use utterance-level Permutation Invariant Training (uPIT) for speaker independent multi-talker speech separation and denoising, simultaneously. Specifically, we train deep bi-directional Long Short-Term Memory (LSTM) Recurrent Neural Networks (RNNs) using uPIT, for single-channel speaker independent multi-talker speech separation in multiple noisy conditions, including both synthetic and real-life noise signals. We focus our experiments on generalizability and noise robustness of models that rely on various types of a priori knowledge e.g. in terms of noise type and number of simultaneous speakers. We show that deep bi-directional LSTM RNNs trained using uPIT in noisy environments can improve the Signal-to-Distortion Ratio (SDR) as well as the Extended Short-Time Objective Intelligibility (ESTOI) measure, on the speaker independent multi-talker speech separation and denoising task, for various noise types and Signal-to-Noise Ratios (SNRs). Specifically, we first show that LSTM RNNs can achieve large SDR and ESTOI improvements, when evaluated using known noise types, and that a single model is capable of handling multiple noise types with only a slight decrease in performance. Furthermore, we show that a single LSTM RNN can handle both two-speaker and three-speaker noisy mixtures, without a priori knowledge about the exact number of speakers. Finally, we show that LSTM RNNs trained using uPIT generalize well to noise types not seen during training.

연구 동기 및 목표

• 실제 소음 환경에서 이상적인 노이즈 없는 조건을 넘어서 동시 음성 분리 및 노이즈 제거의 과제를 해결한다.
• uPIT를 사용하여 화자 독립적 다화자 분리에서 발생하는 레이블 순열 문제를 해결하고, 정확한 화자 할당이 이루어지는 엔드 투 엔드 훈련을 가능하게 한다.
• 다양한 노이즈 유형, SNR, 화자 수(이중 및 삼중 화자 혼합물)에 걸쳐 모델의 강인성과 일반화 능력을 평가한다.
• 재훈련이나 사전 지식 없이도 단일 딥 러닝 모델이 다양한 노이즈 유형과 화자 수를 처리할 수 있음을 입증한다.
• 실생활 적용 가능한 조건에서 uPIT로 훈련된 bi-LSTM 네트워크의 성능을 조사한다. 이는 합성 및 실생활 노이즈 신호를 포함한다.

제안 방법

• 단일 채널 다화자 음성 혼합물의 시간적 의존성을 모델링하기 위해 양방향 장기 단기 기억(LSTM) 순환 신경망을 사용한다.
• 훈련 중에 레이블 순열 문제를 해결하기 위해 문장 수준의 순열 불변 트레이닝(uPIT)을 적용하여 화자 할당과 신호 재구성 문제를 동시에 최적화한다.
• 다양한 노이즈 유형(합성 및 실생활)과 여러 신호 대 노이즈 비율(SNR)을 포함한 노이즈가 섞인 혼합물에서 모델을 훈련시킨다.
• 입력 및 출력 신호를 주파수 도메인에서 표현하기 위해 단기 푸리에 변환(STFT)을 사용하여 스펙트럼 마스킹 및 손실 계산을 가능하게 한다.
• 전체 재구성 오차를 최소화하는 추정 소스의 순열을 선택하는 손실 함수를 최적화한다.
• 다양한 테스트 조건에서 신호 대 왜곡 비율(SDR) 및 확장된 단기 목표 음성 이해도(ESTOI) 지표를 사용해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 uPIT로 훈련된 양방향 LSTMs 네트워크는 소음이 있는 다화자 음성 시나리오에서 강력한 동시 분리 및 노이즈 제거 성능을 달성할 수 있는가?
• RQ2 모델 성능은 다양한 노이즈 유형과 SNR, 특히 추론 중에 볼 수 없는 노이즈에 대해 어떻게 변할까?
• RQ3 화자 수를 사전에 알지 못하는 상태에서 단일 모델이 이중 및 삼중 화자 혼합물에 얼마나 잘 일반화되는가?
• RQ4 훈련 데이터에 포함되지 않은 실생활 노이즈 신호로 테스트했을 때 모델의 성능은 어떠한가?
• RQ5 혼합 노이즈 유형으로 훈련하는 것과 단일 노이즈 유형으로 훈련하는 것의 일반화 및 성능에 미치는 영향은 무엇인가?

주요 결과

• uPIT로 훈련된 양방향 LSTM RNN은 다양한 노이즈 유형과 SNR에서 도전적인 조건에서도 SDR 및 ESTOI에 뚜렷한 향상을 이룬다.
• 다양한 노이즈 유형으로 훈련된 모델는 단일 노이즈 유형으로 훈련된 모델와 비교해 약간의 성능 저하 외에는 강력한 성능 유지를 보인다.
• 단일 uPIT로 훈련된 모델는 화자 수에 대한 사전 지식 없이도 이중 및 삼중 화자 혼합물 모두를 성공적으로 처리하며, 강력한 일반화 능력을 보여준다.
• 모델는 볼 수 없는 노이즈 유형, 특히 떠들썩한 소음(babble), 거리 소음(street), 자동차 소음(car)과 같은 실생활 노이즈 신호에 대해 잘 일반화되며, 성능 저하가 최소한이다.
• 평균적으로 가장 우수한 성능을 보인 모델(LSTM5)은 모든 테스트 세트에서 평균 ESTOI 향상도 0.15를 기록했으며, 일부 조건에서는 0.30 초과의 향상을 기록했다.
• BUS 및 PED 테스트 세트에서는 각각 평균 ESTOI 향상도 0.12 및 0.10를 기록하여 실생활 노이즈에서 강력한 성능을 보였다.