[논문 리뷰] Sequential Multi-Frame Neural Beamforming for Speech Separation and Enhancement

Zhong-Qiu Wang, Hakan Erdoğan외 6명|arXiv (Cornell University)|2019. 11. 18.

Speech and Audio Processing참고 문헌 35인용 수 5

한 줄 요약

이 논문은 반복적으로 딥 네트워크(DNN) 기반 스펙트럼 분리와 다중 프레임 시간 불변 보상형 필터링을 번갈아가며 복소 환경에서의 음성 분리 및 향상 성능을 향상시키는 순차적 다중 프레임 신경 보상형 필터링을 제안한다. 안정화된 신호 대 잡음비(SNR) 손실, TDCN++ 아키텍처, 보상형 필터링에서의 다중 프레임 컨텍스트를 활용함으로써, 네 가지 작업 전반에서 스케일 불변 SNR 평균 2.75 dB 향상과 14.2% 절대 감소된 다이아라이제이션 오류율을 달성하였으며, 실제 LibriCSS 데이터에서 강력한 기준 모델을 초월하였다.

ABSTRACT

This work introduces sequential neural beamforming, which alternates between neural network based spectral separation and beamforming based spatial separation. Our neural networks for separation use an advanced convolutional architecture trained with a novel stabilized signal-to-noise ratio loss function. For beamforming, we explore multiple ways of computing time-varying covariance matrices, including factorizing the spatial covariance into a time-varying amplitude component and a time-invariant spatial component, as well as using block-based techniques. In addition, we introduce a multi-frame beamforming method which improves the results significantly by adding contextual frames to the beamforming formulations. We extensively evaluate and analyze the effects of window size, block size, and multi-frame context size for these methods. Our best method utilizes a sequence of three neural separation and multi-frame time-invariant spatial beamforming stages, and demonstrates an average improvement of 2.75 dB in scale-invariant signal-to-noise ratio and 14.2% absolute reduction in a comparative speech recognition metric across four challenging reverberant speech enhancement and separation tasks. We also use our three-speaker separation model to separate real recordings in the LibriCSS evaluation set into non-overlapping tracks, and achieve a better word error rate as compared to a baseline mask based beamformer.

연구 동기 및 목표

• 복잡한 다중 소스 환경에서의 음성 분리 및 향상을 위한 새로운 번갈아가는 스펙트럼 처리 및 공간 처리 프레임워크 개발.
• 단일 단계 보상형 필터링 및 마스킹 기반 방법의 한계를 보완하기 위해 다중 프레임 컨텍스트와 적응형 공분산 추정을 통합.
• 기하학적 구조에 의존하지 않는 강력한 모델을 개발하여, 예측 불가능한 마이크로폰 구성과 실제 기록 조건에서도 일반화 가능하도록 구현.
• 순차적 정밀화를 통해 소스 분리 품질을 향상시켜 종단 간 음성 인식(ASR) 작업에서의 단어 오류율을 감소시키기

제안 방법

• DNN 기반 시간-주파수 마스킹과 다채널 위너 필터링(MCWF)을 번갈아 적용하여 최대 3단계의 분리 및 보상형 필터링을 수행.
• TDCN++ 네트워크의 마스크 예측 및 분리 성능 향상을 위해 안정화된 신호 대 잡음비(SNR) 손실 함수를 사용.
• 시간 불변 보상형 필터링은 더 큰 윈도우에서 계산된 다중 프레임 공분산 행렬을 활용하여 공간 해상도 향상과 잡음 억제 향상.
• 공분산 추정 이전에 프레임을 집계하여 다중 프레임 컨텍스트를 보상형 필터링에 통합함으로써, 노이즈 및 리버버브에 대한 강건성 향상.
• 마스크 네트워크(작은 윈도우)와 보상형 필터링(큰 윈도우)에 대해 각각 다른 STFT 파arameter를 사용하여 스펙트럼 처리와 공간 처리를 독립적으로 최적화.
• 모델은 합성 혼합 신호와 Libri-Light 데이터로 훈련되어, 다른 마이크로폰 어레이와 실내 기하학적 구조를 포함한 실제 기록 조건과의 불일치 상황에서도 일반화 가능하도록 설계됨.

실험 결과

연구 질문

• RQ1 DNN 기반 스펙트럼 분리와 보상형 필터링을 번갈아 적용하는 것이 리버버브 환경에서의 음성 분리 작업 성능 향상에 기여하는가?
• RQ2 보상형 필터링에 다중 프레임 컨텍스트를 통합할 경우 단일 프레임 방법 대비 분리 및 향상 품질에 어떤 영향을 미치는가?
• RQ3 마스크 예측과 보상형 필터링에 대해 별도의 STFT 파arameter를 사용할 경우 공유 파arameter 대비 성능 향상이 이루어지는가?
• RQ4 합성 데이터로 훈련된 모델이 실제 기록 조건에서의 예측 불가능한 마이크로폰 구성과 새로운 실내 음향 환경으로의 일반화 능력은 어떠한가?
• RQ5 순차적 다중 프레임 보상형 필터링이 마스크 기반 보상형 필터링 기준 모델 대비 종단 간 ASR 시스템에서의 단어 오류율을 감소시키는가?

주요 결과

• 제안된 순차적 다중 프레임 보상형 필터링 방법은 네 가지 도전적인 리버버브 음성 분리 작업 전반에서 스케일 불변 신호 대 잡음비(SI-SNR) 평균 2.75 dB 향상 달성.
• 강력한 기준 모델 대비 다이아라이제이션 오류율(DER)을 절대적으로 14.2% 감소시켜 소스 분리 품질 향상을 입증.
• LibriCSS 평가 세트에서 종단 간 ASR 모델을 사용하여 제약 조건이 있는 순열 단어 오류율(cpWER)을 12.70%로 달성하였으며, 기준 마스크 기반 MVDR 보상형 필터링(13.37%)을 초월.
• 최고의 성능을 보인 설정은 큰 컨텍스트 윈도우를 사용한 DNN 기반 마스크링과 다중 프레임 시간 불변 보상형 필터링을 3단계 순차적으로 적용한 구성.
• 합성 데이터로 훈련되었음에도 불구하고, 불일치하는 마이크로폰 기하학적 구조와 예측 불가능한 실내 음향 환경에서도 높은 성능를 보이며 LibriCSS 데이터셋에서 뛰어난 성능 달성.
• 시간 불변 공분산 행렬을 사용한 다중 프레임 보상형 필터링은 단일 프레임 및 시간 변화형 대안보다 유의미하게 뛰어난 성능를 보였으며, 특히 정지된 소스에 대해 두드러진 성능 향상.