[논문 리뷰] ADL-MVDR: All deep learning MVDR beamformer for target speech separation

Zhuohuang Zhang, Yong Xu외 4명|arXiv (Cornell University)|2020. 08. 16.

Speech and Audio Processing참고 문헌 32인용 수 7

한 줄 요약

이 논문은 행렬 역행렬과 고유값 분해를 두 개의 순환 신경망(RNN)으로 대체하여 안정적이고 종단 간 훈련이 가능한 모든 딥러닝 기반 MVDR 빔포머인 ADL-MVDR를 제안한다. 이 방법은 잔류 잡음을 크게 줄이고 비선형 왜곡을 최소화하여 순수 신경망 기반 시스템 대비 ASR 정확도를 42% 향상시키며, 모든 목적적 지표에서 전통적인 MVDR를 능가한다.

ABSTRACT

Speech separation algorithms are often used to separate the target speech from other interfering sources. However, purely neural network based speech separation systems often cause nonlinear distortion that is harmful for automatic speech recognition (ASR) systems. The conventional mask-based minimum variance distortionless response (MVDR) beamformer can be used to minimize the distortion, but comes with high level of residual noise. Furthermore, the matrix operations (e.g., matrix inversion) involved in the conventional MVDR solution are sometimes numerically unstable when jointly trained with neural networks. In this paper, we propose a novel all deep learning MVDR framework, where the matrix inversion and eigenvalue decomposition are replaced by two recurrent neural networks (RNNs), to resolve both issues at the same time. The proposed method can greatly reduce the residual noise while keeping the target speech undistorted by leveraging on the RNN-predicted frame-wise beamforming weights. The system is evaluated on a Mandarin audio-visual corpus and compared against several state-of-the-art (SOTA) speech separation systems. Experimental results demonstrate the superiority of the proposed method across several objective metrics and ASR accuracy.

연구 동기 및 목표

• 순수 신경망 기반 음성 분리 시스템에서 발생하는 비선형 왜곡 문제를 해결함으로써 자동 음성 인식(ASR) 성능을 저하시키는 요인을 제거하고자 한다.
• 왜곡이 없는 빔포밍에도 불구하고 음성 품질을 제한하는 잔류 잡음을 줄이고자 한다.
• 딥 뉴럴 네트워크와 함께 공동 훈련될 때 MVDR의 수치적 계산, 즉 행렬 역행렬과 고유값 분해의 안정성을 확보하고자 한다.
• 프레임 단위 빔포밍 가중치를 활용하여 향상된 음성 분리를 위한 종단 간 훈련 가능한 프레임워크를 개발하고자 한다.
• RNN을 사용해 기존 수학적 연산을 대체하는 방식으로 MVDR 해를 학습하는 것이 가능한지 탐색하고자 한다.

제안 방법

• ADL-MVDR 프레임워크는 기존의 MVDR 행렬 역행렬과 주성분 분석(PCA)을 대체하기 위해, 잡음 공분산 행렬의 역행렬과 조향 벡터의 PCA를 순차적으로 추정하는 두 개의 RNN을 사용한다.
• 공분산 행렬 추정과 공동 훈련의 안정성을 향상시키기 위해 복소비율 필터링(cRF) 방법을 사용하며, 기존의 시간-주파수 마스크를 대체한다.
• 프론트엔드 필터 추정기는 Cov-TasNet의 변종으로, 음성과 잡음에 대한 프레임 단위 공분산 행렬을 예측한다.
• RNN은 프론트엔드 네트워크와 함께 종단 간 훈련되어, 적응형 프레임 단위 빔포밍 가중치 추정이 가능해진다.
• MVDR 빔포밍 가중치는 $ \mathbf{h}(f) = \frac{\mathbf{\Phi}_{\text{NN}}^{-1}(f)\boldsymbol{v}(f)}{\mathbf{v}^{\mathrm{H}}(f)\mathbf{\Phi}_{\text{NN}}^{-1}(f)\mathbf{v}(f)} $ 로 계산되며, 여기서 역행렬은 RNN에 의해 예측된다.
• 시스템은 음성 분리 및 빔포밍 성능을 동시에 최적화하는 공동 손실 함수를 사용해 훈련된다.

실험 결과

연구 질문

• RQ1 종단 간 훈련 중 수치적 안정성을 유지하면서 RNN이 MVDR 빔포머의 행렬 역행렬과 PCA를 효과적으로 대체할 수 있는가?
• RQ2 기존 MVDR를 딥러닝 기반 솔루션으로 대체할 경우, 비선형 왜곡을 유발하지 않고도 잔류 잡음을 줄일 수 있는가?
• RQ3 목적적 지표와 ASR 정확도 측면에서 제안된 ADL-MVDR 프레임워크는 최신 신경망 기반 및 하이브리드 MVDR 시스템보다 어떻게 비교되는가?
• RQ4 복소비율 필터링(cRF)을 사용할 경우 훈련 과정이 더욱 안정화되고 MVDR를 위한 공분산 행렬 추정이 향상되는가?
• RQ5 RNN을 통한 프레임 단위 빔포밍 가중치 추정이 문장 수준나 또는 청크 수준의 가중치보다 잔류 잡음을 더 효과적으로 줄이는가?

주요 결과

• ADL-MVDR 시스템은 단어 오류률(WER)을 42% 상대적으로 향상시켜, NN + cRF 기반 시스템의 22.07%에서 12.73%로 감소시켰다.
• 다음으로 우수한 베이스라인(MVDR + cRF) 대비 PESQ 점수를 0.32점 향상시켜 3.42에 도달했으며, Si-SNR는 14.80 dB를 기록해 모든 베이스라인을 능가했다.
• 극한 조건(발화자 간 각도 0–15°)에서도 PESQ 점수가 62% 향상되어 1.88에서 3.04로 상승했으며, 밀착 발화 간섭자에 대한 강건성을 입증했다.
• ADL-MVDR 시스템은 잔류 잡음을 크게 줄였으며, MVDR + cRF의 14.04 dB, NN + cRF의 13.01 dB 대비 15.45 dB의 SDR를 기록했다.
• cRF 기반 ADL-MVDR 시스템은 cRM 기반 시스템보다 모든 지표에서 뛰어나, Si-SNR에서 0.27 dB 향상되고 WER는 0.42% 더 우수했다.
• 제안된 방법은 목표 음성에 대한 왜곡 없음을 유지하면서 잡음을 최소화함을 확인했으며, 모든 목적적 지표에서 최저 WER와 최고 점수를 기록했다.